Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Классический идентификатор Internet Archive в User-Agent для Wayback Machine. Архивирует публичные страницы с возможностью просмотра прошлых версий. Руководство по ia_archiver (User-Agent ia_archiver, категория «Веб-архивы»): как распознать в access.log, оценить риски и ограничить доступ.
Семья краулеров Awario (AwarioBot / SmartBot / RssBot) для brand monitoring. Официальные UA, Crawl-delay, без IP-листа. Как закрыть все токены без влияния на Google.
Компонент Microsoft для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов. Руководство по MicrosoftPreview (User-Agent microsoftpreview, категория «Превью ссылок в соцсетях»): как распознать в access.log, оценить риски и ограничить доступ.
Meta-WebIndexer используется для улучшения поисковых результатов Meta AI. Управление этим обходом следует отделять от обучения моделей и пользовательской загрузки ссылок.
Claude-SearchBot — краулер Anthropic, отвечающий за качество и релевантность поисковых функций Claude. Он индексирует публичный веб-контент, чтобы Claude мог возвращать актуальные, точные ответы с цитированием источников, когда пользователь задаёт вопрос, требующий свежих данных из интернета. Это не обучающий краулер: собранные данные используются исключительно для поискового слоя Claude, а не для тренировки моделей.
GrokBot — основной веб-краулер компании xAI (детище Илона Маска), созданный для сбора обучающих данных и обеспечения работы ИИ-ассистента Grok. В отличие от большинства крупных краулеров, xAI публикует крайне мало официальной документации, а часть трафика от сервисов Grok маскируется под обычный браузерный User-Agent. Это делает GrokBot одним из наиболее проблемных и плохо верифицируемых ботов в современном вебе.
Claude-User — агент Anthropic, который срабатывает не по расписанию, а по прямому действию пользователя. Когда человек в Claude просит прочитать конкретную страницу, вставляет ссылку в диалог или задаёт вопрос, требующий обращения к конкретному URL, именно Claude-User выполняет этот запрос в моменте. Это не плановый краулер, а реактивный агент, чьё появление в логах коррелирует с объёмом пользовательских запросов, а не с расписанием индексации.
ClaudeBot — основной краулер Anthropic, который собирает публично доступный веб-контент для обучения и улучшения генеративных моделей семейства Claude. Это самый узнаваемый и старый из трёх официально задокументированных ботов Anthropic, находящийся в центре большей части публичной дискуссии об AI-краулерах — в том числе из-за нашумевших данных Cloudflare о крайне высоком соотношении «сканирование / переходы по ссылкам» у AI-краулеров в целом.
ChatGPT-User может получать страницу в рамках действия пользователя ChatGPT. Его нельзя считать обычным автоматическим поисковым краулером.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.