Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
ClaudeBot — основной краулер Anthropic, который собирает публично доступный веб-контент для обучения и улучшения генеративных моделей семейства Claude. Это самый узнаваемый и старый из трёх официально задокументированных ботов Anthropic, находящийся в центре большей части публичной дискуссии об AI-краулерах — в том числе из-за нашумевших данных Cloudflare о крайне высоком соотношении «сканирование / переходы по ссылкам» у AI-краулеров в целом.
ChatGPT-User может получать страницу в рамках действия пользователя ChatGPT. Его нельзя считать обычным автоматическим поисковым краулером.
OAI-AdsBot: назначение рекламной проверки OpenAI, официальный IP-feed и проверка доступа к целевой странице.
GPTBot — агент OpenAI для сбора материалов, которые могут использоваться при обучении базовых моделей. Это отдельная роль от поиска и пользовательской загрузки страницы.
OAI-SearchBot обслуживает поисковые функции ChatGPT. Доступ этого агента и доступ обучающего GPTBot можно выбирать независимо.

Разбираем 20 признаков DDoS-атаки, учимся отличать вредоносный трафик от естественного роста посещаемости и составляем план действий на первые 10 минут.
Keys-so-bot — краулер российского SEO-сервиса Keys.so (оператор — компания «Битерика Групп»), который используется для сбора данных о видимости сайтов в органической и контекстной выдаче Яндекса и Google, анализа семантического ядра конкурентов и построения истории изменений файлов robots.txt. Это не поисковый робот в классическом смысле — он не индексирует страницы для показа в результатах поиска, а сканирует сайты в интересах пользователей сервиса, которые анализируют конкурентов.
Для обычного пользователя атака — это когда сайт перестал открываться или его взломали. На практике всё начинается гораздо раньше. Ещё до DDoS или взлома сайт ежедневно проверяют тысячи автоматических скриптов: они ищут страницы входа, резервные копии, файлы конфигурации, известные уязвимости и другие потенциально слабые места. Именно такую постоянную автоматическую активность мы анализируем в этом исследовании.
DotBot наполняет ссылочный индекс Moz и отличается от Rogerbot для аудита сайта. Документированное управление обходом и границы проверки запросов.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.