Блог TrafficVeil

Статьи и руководства — страница 55

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота OI-Crawler: нежелательный прочие краулеры и сервисы
Боты8 мин

OI-Crawler: что это за бот OpenINTEL и нужно ли его блокировать

OI-Crawler — исследовательский веб-краулер проекта OpenINTEL, который получает landing page доменов для интернет-измерений. Разбираемся, зачем он приходит на сайт, как работает с robots.txt, как определить настоящий OI-Crawler/Nutch и когда использовать Allow, Rate Limit или Block.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Meta ExternalAds: легитимный прочие краулеры и сервисы
Боты5 мин

Meta-ExternalAds: что это за бот Meta и нужно ли его блокировать

Meta-ExternalAds — краулер Meta для сценариев, связанных с улучшением рекламных и других бизнес-продуктов компании. Разбираемся, как определить meta-externalads в логах, проверить источник по инфраструктуре Meta и правильно настроить Allow, robots.txt или Block.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота RecordedFuture: легитимный прочие краулеры и сервисы
Боты6 мин

RecordedFuture Global Inventory Crawler: что это за бот и нужно ли его блокировать

RecordedFuture Global Inventory Crawler — автоматизированный клиент, предположительно связанный со сбором публичных web-данных для threat intelligence. Разбираемся, как найти его в access.log, проверить IP и поведение и выбрать Monitor, Rate Limit или Block.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота AdsBot-Google-Mobile: легитимный рекламные и adtech-боты
Боты7 мин

AdsBot-Google-Mobile: что это за бот Google Ads и почему его не стоит блокировать

AdsBot-Google-Mobile — специальный мобильный краулер Google Ads для проверки рекламных посадочных страниц. Разбираемся, чем он отличается от Googlebot Smartphone, почему игнорирует глобальный User-agent: *, как проверить настоящий AdsBot по IP и DNS и правильно настроить TrafficVeil.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота LinkedInBot: легитимный превью ссылок в соцсетях
Боты8 мин

LinkedInBot: что это за бот и почему его лучше не блокировать

LinkedInBot — автоматический crawler LinkedIn, который получает страницы для формирования превью ссылок в публикациях и сообщениях. Разбираемся, как определить LinkedInBot в логах, зачем ему Open Graph, как выявить поддельный UA и что произойдёт после блокировки.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота TrafficVeil Site Monitor: легитимный мониторинг доступности
Боты9 мин

TrafficVeil Site Monitor: что это за бот и почему его не нужно блокировать

TrafficVeil Site Monitor — внутренний сервис мониторинга, который проверяет доступность защищённых доменов через прокси TrafficVeil. Разбираемся, почему его запросы появляются в access.log, как отличить настоящий монитор от поддельного UA и как правильно учитывать этот трафик в аналитике.

10 авг. 2026 г.Читать
Боты9 мин

Argus NGB Crawler: что это за бот и как проверить argus-ngb в логах

Argus NGB Crawler определяется в логах по токену argus-ngb, однако его оператор и точное назначение пока не подтверждены публичной документацией. Разбираемся, как анализировать такой трафик по IP, ASN, fingerprint и поведению и когда применять Monitor, Rate Limit или Block.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота AppleBot Extended: легитимный поисковые роботы
Боты8 мин

Applebot-Extended: что это такое и как запретить использование контента для AI Apple

Applebot-Extended — не отдельный веб-краулер, а специальный токен robots.txt. Он позволяет запретить использование данных, собранных Applebot, для обучения foundation models Apple, не блокируя обычный поисковый краулер Apple.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Aranet SearchBot: нежелательный поисковые роботы
Боты7 мин

Aranet-SearchBot: что это за бот и стоит ли разрешать ему доступ

Aranet-SearchBot — новый и пока слабо документированный поисковый/AI-краулер, появившийся в логах сайтов в 2026 году. Разбираемся, что о нём действительно известно, как проверить его запросы и когда выбирать Monitor, Rate Limit или Block.

10 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil