Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
OAI-AdsBot: назначение рекламной проверки OpenAI, официальный IP-feed и проверка доступа к целевой странице.
GPTBot — агент OpenAI для сбора материалов, которые могут использоваться при обучении базовых моделей. Это отдельная роль от поиска и пользовательской загрузки страницы.
OAI-SearchBot обслуживает поисковые функции ChatGPT. Доступ этого агента и доступ обучающего GPTBot можно выбирать независимо.
Keys-so-bot — краулер российского SEO-сервиса Keys.so (оператор — компания «Битерика Групп»), который используется для сбора данных о видимости сайтов в органической и контекстной выдаче Яндекса и Google, анализа семантического ядра конкурентов и построения истории изменений файлов robots.txt. Это не поисковый робот в классическом смысле — он не индексирует страницы для показа в результатах поиска, а сканирует сайты в интересах пользователей сервиса, которые анализируют конкурентов.
DotBot наполняет ссылочный индекс Moz и отличается от Rogerbot для аудита сайта. Документированное управление обходом и границы проверки запросов.
Googlebot-Image — специализированный краулер Google, предназначенный исключительно для обхода, анализа и индексации изображений. Он является частью экосистемы краулеров Google и отвечает за наполнение сервиса Google Images.

Googlebot — имя роботов Google Search. Его присутствие в логах помогает анализировать обход, но не доказывает индексацию или рост позиций.
Googlebot-News — специализированный краулер Google, предназначенный исключительно для индексации новостного контента. Он обеспечивает работу сервисов Google News, Google Discover и блока «Главные новости» (Top Stories) в результатах поиска.
Googlebot-Video — специализированный краулер Google, предназначенный для обхода, анализа и индексации видеоконтента. Он обеспечивает работу видеорезультатов в Google Search (блок «Видео» в выдаче), Google Videos и видеопревью в Google Discover. В отличие от основного Googlebot, который обрабатывает страницы в целом, Googlebot-Video целенаправленно анализирует видеофайлы, метаданные к ним и сигналы качества видеоконтента.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.