Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбор краулера AdkernelTopicCrawler от adtech-провайдера Adkernel — как он определяет тематику страниц для контекстной рекламы, кому это выгодно и как настроить allow/deny через robots.txt, сервер или TrafficVeil.
Разбор рекламного краулера AudigentAdBot от сервиса Audigent — что он собирает, чем отличается от «старшего брата» AudigentBot, почему wildcard-правило его не блокирует и как настроить allow/deny через robots.txt или TrafficVeil.
Классический идентификатор Internet Archive в User-Agent для Wayback Machine. Архивирует публичные страницы с возможностью просмотра прошлых версий. Руководство по ia_archiver (User-Agent ia_archiver, категория «Веб-архивы»): как распознать в access.log, оценить риски и ограничить доступ.
Семья краулеров Awario (AwarioBot / SmartBot / RssBot) для brand monitoring. Официальные UA, Crawl-delay, без IP-листа. Как закрыть все токены без влияния на Google.
Компонент Microsoft для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов. Руководство по MicrosoftPreview (User-Agent microsoftpreview, категория «Превью ссылок в соцсетях»): как распознать в access.log, оценить риски и ограничить доступ.
Meta-WebIndexer используется для улучшения поисковых результатов Meta AI. Управление этим обходом следует отделять от обучения моделей и пользовательской загрузки ссылок.
Claude-SearchBot — краулер Anthropic, отвечающий за качество и релевантность поисковых функций Claude. Он индексирует публичный веб-контент, чтобы Claude мог возвращать актуальные, точные ответы с цитированием источников, когда пользователь задаёт вопрос, требующий свежих данных из интернета. Это не обучающий краулер: собранные данные используются исключительно для поискового слоя Claude, а не для тренировки моделей.
GrokBot — основной веб-краулер компании xAI (детище Илона Маска), созданный для сбора обучающих данных и обеспечения работы ИИ-ассистента Grok. В отличие от большинства крупных краулеров, xAI публикует крайне мало официальной документации, а часть трафика от сервисов Grok маскируется под обычный браузерный User-Agent. Это делает GrokBot одним из наиболее проблемных и плохо верифицируемых ботов в современном вебе.
Claude-User — агент Anthropic, который срабатывает не по расписанию, а по прямому действию пользователя. Когда человек в Claude просит прочитать конкретную страницу, вставляет ссылку в диалог или задаёт вопрос, требующий обращения к конкретному URL, именно Claude-User выполняет этот запрос в моменте. Это не плановый краулер, а реактивный агент, чьё появление в логах коррелирует с объёмом пользовательских запросов, а не с расписанием индексации.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.