Блог TrafficVeil

Статьи и руководства — страница 67

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота OAI AdsBot: нежелательный ai и llm-краулеры
Боты3 мин

OAI-AdsBot

OAI-AdsBot: назначение рекламной проверки OpenAI, официальный IP-feed и проверка доступа к целевой странице.

16 июл. 2026 г.Читать
Уникальная иллюстрация бота GPTBot: нежелательный ai и llm-краулеры
Боты4 мин

GPTBot: назначение, robots.txt и официальный IP-feed

GPTBot — агент OpenAI для сбора материалов, которые могут использоваться при обучении базовых моделей. Это отдельная роль от поиска и пользовательской загрузки страницы.

16 июл. 2026 г.Читать
Уникальная иллюстрация бота OAI SearchBot: нежелательный ai и llm-краулеры
Боты4 мин

OAI-SearchBot: поиск ChatGPT и проверка источника

OAI-SearchBot обслуживает поисковые функции ChatGPT. Доступ этого агента и доступ обучающего GPTBot можно выбирать независимо.

16 июл. 2026 г.Читать
Боты3 мин

Keys.so Bot (keys-so-bot)

Keys-so-bot — краулер российского SEO-сервиса Keys.so (оператор — компания «Битерика Групп»), который используется для сбора данных о видимости сайтов в органической и контекстной выдаче Яндекса и Google, анализа семантического ядра конкурентов и построения истории изменений файлов robots.txt. Это не поисковый робот в классическом смысле — он не индексирует страницы для показа в результатах поиска, а сканирует сайты в интересах пользователей сервиса, которые анализируют конкурентов.

11 июл. 2026 г.Читать
Уникальная иллюстрация бота DotBot: нежелательный seo и backlink-краулеры
Боты4 мин

DotBot от Moz: назначение, robots.txt и ограничения

DotBot наполняет ссылочный индекс Moz и отличается от Rogerbot для аудита сайта. Документированное управление обходом и границы проверки запросов.

29 июн. 2026 г.Читать
Уникальная иллюстрация бота Googlebot-Image: нежелательный бот
Боты8 мин

Googlebot-Image - все что нужно знать

Googlebot-Image — специализированный краулер Google, предназначенный исключительно для обхода, анализа и индексации изображений. Он является частью экосистемы краулеров Google и отвечает за наполнение сервиса Google Images.

25 июн. 2026 г.Читать
Уникальная иллюстрация бота GoogleBot: нежелательный бот
Боты8 мин

Googlebot: проверка подлинности и доступ к сайту

Googlebot — имя роботов Google Search. Его присутствие в логах помогает анализировать обход, но не доказывает индексацию или рост позиций.

25 июн. 2026 г.Читать
Боты12 мин

Googlebot-News

Googlebot-News — специализированный краулер Google, предназначенный исключительно для индексации новостного контента. Он обеспечивает работу сервисов Google News, Google Discover и блока «Главные новости» (Top Stories) в результатах поиска.

25 июн. 2026 г.Читать
Боты12 мин

Googlebot-Video

Googlebot-Video — специализированный краулер Google, предназначенный для обхода, анализа и индексации видеоконтента. Он обеспечивает работу видеорезультатов в Google Search (блок «Видео» в выдаче), Google Videos и видеопревью в Google Discover. В отличие от основного Googlebot, который обрабатывает страницы в целом, Googlebot-Video целенаправленно анализирует видеофайлы, метаданные к ним и сигналы качества видеоконтента.

25 июн. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil