Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Оператор BackupLand не поддаётся уверенной идентификации в открытых источниках, но само название указывает на вероятную категорию — сервисы резервного копирования сайтов, рекурсивно сохраняющие снимки страниц. Разбираем конкретный практический сценарий, который стоит исключить в первую очередь: не заказывал ли кто-то в организации бэкап именно этого сайта через сторонний сервис, прежде чем реагировать блокировкой.
HetrixTools — известный сервис uptime-мониторинга, который пользователи сравнивают с Pingdom и UptimeRobot, и, в отличие от большинства мониторинговых ботов этой серии, публикует и поддерживает актуальный официальный список IP-адресов для верификации. Разбираем полную линейку функций сервиса (blacklist-мониторинг, SSL/домен, серверный агент), официальный канал для запроса на исключение сайта, и как надёжно проверить подлинность запроса.
RSSAPI, вероятно, принадлежит rssapi.net — B2B-сервису, который берёт на себя техническую рутину опроса RSS/Atom/JSON-фидов и доставляет обновления сторонним разработчикам через вебхуки. Разбираем, чем эта модель отличается от привычных RSS-ридеров для конечных читателей — здесь клиент бота не человек, а чужое приложение или сервис, зависящий от актуальности данных с сайта.
Feeder принадлежит современному, активно развивающемуся RSS-сервису feeder.co, чья официальная документация прямо заявляет: краулер обходит только фиды с реальными подписчиками и намеренно не проверяет robots.txt, поскольку выступает как агент конкретного пользователя. Разбираем эту логику (та же, что у Google Feedfetcher), и почему блокировка бота напрямую обрывает доставку обновлений реальным читателям, а не абстрактной нагрузке.
В отличие от большинства реактивных RSS-ботов этой серии (BazQux, FeedWind), Everyfeed Spider по заявленному описанию сам активно ищет по интернету новые фиды для добавления в свой агрегатор — модель поведения, структурно ближе к поисковому обходчику. Разбираем, почему это в сочетании с отсутствием свежей документации о сервисе даёт основания для более осторожной оценки, чем у типичных подписочных RSS-фетчеров.
MixrankBot принадлежит MixRank — data-платформе бизнес-разведки из Y Combinator (2011), обрабатывающей петабайты данных ежемесячно для клиентов вроде Google, Amazon и Adobe. Разбираем, зачем технографическому датасету нужен обход сайтов, и почему на практике соблюдение robots.txt этим ботом ненадёжно — контроль лучше строить на уровне сервера
Spinbot — не современный AI-ассистент для письма, а классический «article spinner»: давний, хорошо известный SEO-индустрии инструмент паразитического перефразирования текста для обхода антиплагиатных фильтров. Разбираем, почему появление этого токена в логах, скорее всего, означает не безобидный визит, а сбор сырья для последующей публикации дублирующего контента под видом уникального, и почему это принципиально отличается от GPTBot или ClaudeBot.
ScalenutBot, вероятно, принадлежит Scalenut — крупной AI-платформе для SEO и контент-маркетинга (1М+ пользователей), делающей акцент на видимости бренда как в Google, так и в ответах AI-систем. Разбираем, зачем анализу конкурентов и SERP-данных нужен обход сторонних сайтов, и почему отдельная функция AI Traffic Monitor того же продукта — не сам этот бот, а инструмент аналитики чужого AI-трафика.
OpenRSS — не просто читатель существующих лент, а зарегистрированная некоммерческая организация (501(c)(3), Вашингтон), чья миссия — генерировать RSS-фиды для сайтов вроде Craigslist, YouTube или Twitter/X, которые сами RSS не предлагают. Разбираем необычную механику продукта (дописать openrss.org/ перед URL), почему визит бота обычно означает разовый интерес конкретного человека, а не постоянную синдикацию для широкой аудитории, и как настроить robots.txt.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.