Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
BestChange принадлежит давно работающему агрегатору курсов обмена криптовалют и электронных валют, а его бот — не типичный fetcher превью ссылок, а узкоспециализированный монитор, который непрерывно опрашивает зарегистрированные на платформе обменники, обновляя курсы каждые 5–8 секунд. Разбираем, почему шаблонное описание "fetcher" плохо подходит к реальной механике сервиса, и что означает появление бота на сайте, не связанном с обменом валют.
Innguma, скорее всего, связан с одноимённой B2B-платформой технологической разведки из Страны Басков, связанной с исследовательским центром IK4-IDEKO — коммерческим инструментом для организаций с годовым тарифом от 3 564 евро. Разбираем, зачем такой платформе нужен систематический веб-краулер, и почему наличие правдоподобного оператора меняет подход к оценке по сравнению с полностью анонимными ботами этой серии.
GenomeCrawlerd — часть Nokia Deepfield Genome, технологии, которая непрерывно сканирует миллиарды IP-адресов, чтобы построить карту интернет-инфраструктуры для DDoS-защиты и сетевой аналитики у 140+ интернет-провайдеров по всему миру. Разбираем, почему эта задача принципиально отличается от построения поискового индекса и почему присутствие бота — низкорисковый случай в обе стороны для большинства сайтов.
YouBot строит индекс для AI-поиска You.com — платформы с акцентом на разговорные ответы и приватность. Разбираем, как устроена подпись HTTP-запросов через протокол Web Bot Auth (более строгий метод верификации, чем просто UA или rDNS), и почему блокировка одного AI-поискового краулера не убирает сайт из всей экосистемы AI-поиска сразу.
Scrunch AI прямо и официально заявляет: Scrunchbot не занимается проактивным обходом веба — он появляется на сайте только в ответ на настройку конкретного клиента платформы. Разбираем, как устроен мониторинг видимости бренда в LLM и AI-поиске (ChatGPT, Claude, Gemini, Perplexity), новую функцию Agent Experience Platform, и почему присутствие бота почти всегда означает сознательное подключение сайта к сервису.
MgidBot, судя по всему, принадлежит MGID — крупной платформе нативной рекламы с 32 000+ издателей в 70+ странах, упоминаемой в одном ряду с Taboola и Outbrain. Разбираем, почему логика бота, вероятно, аналогична уже разобранному Taboolabot — проверка посадочных страниц рекламодателей, — и почему, в отличие от Taboola, у этого оператора не нашлось столь же подробной публичной документации именно про краулер.
Официальное имя краулера крупнейшей в мире платформы контент-дискавери — Taboolabot, а не просто «Taboola», и он обходит только те посадочные страницы, которые сам рекламодатель добавил в кампанию. Разбираем, почему сама Taboola предупреждает о риске случайной блокировки через общие правила против слова «bot», и отдельный, не связанный с этим краулером механизм, из-за которого Google физически не видит рекомендательные виджеты Taboola на сайтах-издателях.
BrokenLinksBot принадлежит brokenlinks.io (Two Phase LLC) и проверяет ссылки на битые URL для коммерческого SEO-инструмента. Разбираем необычно подробную документацию вежливого поведения — лимит скорости, автоматический backoff, поддержку Crawl-delay — и почему легко перепутать этого бота с похожим по названию, но совсем другим BrokenLinkCheckerBot.

AASA-Bot принадлежит Apple и забирает файл apple-app-site-association, обеспечивающий работу Universal Links — механизма, который открывает ссылки сразу в iOS-приложении вместо браузера. Разбираем, как устроена эта технология, почему кеширование на CDN Apple может маскироваться под проблему с ботом, и как не спутать AASA-Bot с совсем другими Applebot и Applebot-Extended.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.