Блог TrafficVeil

Статьи и руководства — страница 66

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота ia_archiver: легитимный веб-архивы
Боты6 мин

IA archiver - исторически идентификатор краулера Alexa Interne

Классический идентификатор Internet Archive в User-Agent для Wayback Machine. Архивирует публичные страницы с возможностью просмотра прошлых версий. Руководство по ia_archiver (User-Agent ia_archiver, категория «Веб-архивы»): как распознать в access.log, оценить риски и ограничить доступ.

3 авг. 2026 г.Читать
Уникальная иллюстрация бота AwarioBot: нежелательный прочие краулеры и сервисы
Боты6 мин

AwarioBot — семейство краулеров сервиса Awario

Семья краулеров Awario (AwarioBot / SmartBot / RssBot) для brand monitoring. Официальные UA, Crawl-delay, без IP-листа. Как закрыть все токены без влияния на Google.

3 авг. 2026 г.Читать
Уникальная иллюстрация бота MicrosoftPreview: легитимный превью ссылок в соцсетях
Боты6 мин

Microsoft Preview — бот Microsoft

Компонент Microsoft для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов. Руководство по MicrosoftPreview (User-Agent microsoftpreview, категория «Превью ссылок в соцсетях»): как распознать в access.log, оценить риски и ограничить доступ.

2 авг. 2026 г.Читать
Уникальная иллюстрация бота Meta WebIndexer: легитимный прочие краулеры и сервисы
Боты4 мин

Meta-WebIndexer: поисковый обход Meta AI

Meta-WebIndexer используется для улучшения поисковых результатов Meta AI. Управление этим обходом следует отделять от обучения моделей и пользовательской загрузки ссылок.

2 авг. 2026 г.Читать
Уникальная иллюстрация бота Claude SearchBot: нежелательный ai и llm-краулеры
Боты3 мин

Claude Search Bot

Claude-SearchBot — краулер Anthropic, отвечающий за качество и релевантность поисковых функций Claude. Он индексирует публичный веб-контент, чтобы Claude мог возвращать актуальные, точные ответы с цитированием источников, когда пользователь задаёт вопрос, требующий свежих данных из интернета. Это не обучающий краулер: собранные данные используются исключительно для поискового слоя Claude, а не для тренировки моделей.

1 авг. 2026 г.Читать
Боты4 мин

GrokBot и семейство краулеров xAI

GrokBot — основной веб-краулер компании xAI (детище Илона Маска), созданный для сбора обучающих данных и обеспечения работы ИИ-ассистента Grok. В отличие от большинства крупных краулеров, xAI публикует крайне мало официальной документации, а часть трафика от сервисов Grok маскируется под обычный браузерный User-Agent. Это делает GrokBot одним из наиболее проблемных и плохо верифицируемых ботов в современном вебе.

1 авг. 2026 г.Читать
Уникальная иллюстрация бота Claude User: нежелательный ai и llm-краулеры
Боты5 мин

Claude User

Claude-User — агент Anthropic, который срабатывает не по расписанию, а по прямому действию пользователя. Когда человек в Claude просит прочитать конкретную страницу, вставляет ссылку в диалог или задаёт вопрос, требующий обращения к конкретному URL, именно Claude-User выполняет этот запрос в моменте. Это не плановый краулер, а реактивный агент, чьё появление в логах коррелирует с объёмом пользовательских запросов, а не с расписанием индексации.

21 июл. 2026 г.Читать
Уникальная иллюстрация бота ClaudeBot: нежелательный ai и llm-краулеры
Боты5 мин

ClaudeBot

ClaudeBot — основной краулер Anthropic, который собирает публично доступный веб-контент для обучения и улучшения генеративных моделей семейства Claude. Это самый узнаваемый и старый из трёх официально задокументированных ботов Anthropic, находящийся в центре большей части публичной дискуссии об AI-краулерах — в том числе из-за нашумевших данных Cloudflare о крайне высоком соотношении «сканирование / переходы по ссылкам» у AI-краулеров в целом.

21 июл. 2026 г.Читать
Боты3 мин

ChatGPT-User: пользовательская загрузка и доступ к сайту

ChatGPT-User может получать страницу в рамках действия пользователя ChatGPT. Его нельзя считать обычным автоматическим поисковым краулером.

16 июл. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil