Блог TrafficVeil

Статьи и руководства — страница 69

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота AdkernelTopicCrawler: нежелательный прочие краулеры и сервисы
Боты5 мин

AdkernelTopicCrawler: зачем он классифицирует ваш контент и как его блокировать

Разбор краулера AdkernelTopicCrawler от adtech-провайдера Adkernel — как он определяет тематику страниц для контекстной рекламы, кому это выгодно и как настроить allow/deny через robots.txt, сервер или TrafficVeil.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота AudigentAdBot: нежелательный рекламные и adtech-боты
Боты5 мин

AudigentAdBot: зачем он сканирует метаданные страниц и как его контролировать

Разбор рекламного краулера AudigentAdBot от сервиса Audigent — что он собирает, чем отличается от «старшего брата» AudigentBot, почему wildcard-правило его не блокирует и как настроить allow/deny через robots.txt или TrafficVeil.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота ia_archiver: легитимный веб-архивы
Боты6 мин

IA archiver - исторически идентификатор краулера Alexa Interne

Классический идентификатор Internet Archive в User-Agent для Wayback Machine. Архивирует публичные страницы с возможностью просмотра прошлых версий. Руководство по ia_archiver (User-Agent ia_archiver, категория «Веб-архивы»): как распознать в access.log, оценить риски и ограничить доступ.

3 авг. 2026 г.Читать
Уникальная иллюстрация бота AwarioBot: нежелательный прочие краулеры и сервисы
Боты6 мин

AwarioBot — семейство краулеров сервиса Awario

Семья краулеров Awario (AwarioBot / SmartBot / RssBot) для brand monitoring. Официальные UA, Crawl-delay, без IP-листа. Как закрыть все токены без влияния на Google.

3 авг. 2026 г.Читать
Уникальная иллюстрация бота MicrosoftPreview: легитимный превью ссылок в соцсетях
Боты6 мин

Microsoft Preview — бот Microsoft

Компонент Microsoft для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов. Руководство по MicrosoftPreview (User-Agent microsoftpreview, категория «Превью ссылок в соцсетях»): как распознать в access.log, оценить риски и ограничить доступ.

2 авг. 2026 г.Читать
Уникальная иллюстрация бота Meta WebIndexer: легитимный прочие краулеры и сервисы
Боты4 мин

Meta-WebIndexer: поисковый обход Meta AI

Meta-WebIndexer используется для улучшения поисковых результатов Meta AI. Управление этим обходом следует отделять от обучения моделей и пользовательской загрузки ссылок.

2 авг. 2026 г.Читать
Уникальная иллюстрация бота Claude SearchBot: нежелательный ai и llm-краулеры
Боты3 мин

Claude Search Bot

Claude-SearchBot — краулер Anthropic, отвечающий за качество и релевантность поисковых функций Claude. Он индексирует публичный веб-контент, чтобы Claude мог возвращать актуальные, точные ответы с цитированием источников, когда пользователь задаёт вопрос, требующий свежих данных из интернета. Это не обучающий краулер: собранные данные используются исключительно для поискового слоя Claude, а не для тренировки моделей.

1 авг. 2026 г.Читать
Боты4 мин

GrokBot и семейство краулеров xAI

GrokBot — основной веб-краулер компании xAI (детище Илона Маска), созданный для сбора обучающих данных и обеспечения работы ИИ-ассистента Grok. В отличие от большинства крупных краулеров, xAI публикует крайне мало официальной документации, а часть трафика от сервисов Grok маскируется под обычный браузерный User-Agent. Это делает GrokBot одним из наиболее проблемных и плохо верифицируемых ботов в современном вебе.

1 авг. 2026 г.Читать
Уникальная иллюстрация бота Claude User: нежелательный ai и llm-краулеры
Боты5 мин

Claude User

Claude-User — агент Anthropic, который срабатывает не по расписанию, а по прямому действию пользователя. Когда человек в Claude просит прочитать конкретную страницу, вставляет ссылку в диалог или задаёт вопрос, требующий обращения к конкретному URL, именно Claude-User выполняет этот запрос в моменте. Это не плановый краулер, а реактивный агент, чьё появление в логах коррелирует с объёмом пользовательских запросов, а не с расписанием индексации.

21 июл. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil