Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
aiHitBot принадлежит британской компании aiHit, которая с 2009 года собирает и структурирует публичную бизнес-информацию о компаниях — вплоть до истории смен руководства во времени. Разбираем, почему буква "ai" в имени вводит в заблуждение, что реально собирает бот, и почему риск для сайта — не про AI-контур, а про попадание в чужую коммерческую базу бизнес-данных.
По независимым каталогам ботов, Adagiobot — не безымянный сканер, а специализированный ad-tech краулер, который запрашивает ads.txt, app-ads.txt и sellers.json для анализа real-time bidding и помощи издателям в оптимизации рекламного дохода. Разбираем, почему это меняет оценку риска по сравнению с шаблонной категорией «прочие нежелательные», и когда блокировка может напрямую ударить по монетизации сайта.
По открытым данным о компании-операторе Swifteq (приложения для Zendesk, Freshdesk и Intercom с 2020 года), SwifteqLinkChecker, вероятно, связан не с построением превью ссылок для чатов и соцсетей, а с модулем Help Center Manager, который проверяет валидность внешних ссылок в статьях справочных центров поддержки. Разбираем, почему это меняет практический совет — и почему блокировка может навредить тому, как ваш сайт выглядит в чужой документации.
UptimeRobot: официальные User-Agent и IP, отдельный сценарий AI-настройки и проверка доступа мониторинга. Без неподтверждённого числа пользователей.
Под именем MailRUBot скрывается путаница минимум двух разных агентов: полноценный поисковый индексатор Mail.RU_Bot (VK Group, с 2009 года) и отдельный fetcher для email-превью ссылок. Разбираем, почему это не AI-краулер для обучающих датасетов, как отличить два варианта по точному написанию токена и паттерну обхода, и как настроить robots.txt для каждого сценария.
У Ai2Bot-DeepResearchEval есть явно раскрытый оператор — некоммерческий Allen Institute for AI, основанный Полом Алленом. Разбираем, чем оценка бенчмарков глубокого исследования отличается от массового сбора обучающих данных, чем этот бот отличается от родственных AI2Bot и Ai2Bot-Dolma, и почему шаблонный ярлык «нежелательный» стоит пересмотреть с учётом контекста.
Paqlebot принадлежит Paqle A/S — датской платформе медиа-разведки, мониторящей 130 000 медиаресурсов и связывающей упоминания в СМИ с официальным реестром юрлиц CVR. Разбираем главную практическую опасность: если для Paqlebot нет отдельного правила в robots.txt, бот по умолчанию следует правилам для Googlebot — а значит, ограничение для Google незаметно ограничивает и медиа-мониторинг, и наоборот.
FAST-WebCrawler — токен потребительского поисковика AlltheWeb, чья судьба разошлась на два разных пути: сам сайт закрыла Yahoo! в 2011 году, а отдельная корпоративная технология FAST ушла в Microsoft ещё в 2008-м для совсем другого продукта. Разбираем эту редко замечаемую развилку и почему появление этого UA сегодня — почти наверняка спуфинг, а не живой краулер.
AdsTxtCrawler — не один бот, а целое семейство независимых реализаций (включая открытый референсный краулер самого IAB Tech Lab), которые читают ads.txt и sellers.json, чтобы проверить, кто на самом деле уполномочен продавать рекламу сайта. Разбираем, зачем нужен стандарт ads.txt, чем это семейство принципиально отличается от AdsBot-Google и AI-краулеров, и почему блокировка «на всякий случай» обычно вредит самому издателю.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.