Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
OI-Crawler — исследовательский веб-краулер проекта OpenINTEL, который получает landing page доменов для интернет-измерений. Разбираемся, зачем он приходит на сайт, как работает с robots.txt, как определить настоящий OI-Crawler/Nutch и когда использовать Allow, Rate Limit или Block.
Meta-ExternalAds — краулер Meta для сценариев, связанных с улучшением рекламных и других бизнес-продуктов компании. Разбираемся, как определить meta-externalads в логах, проверить источник по инфраструктуре Meta и правильно настроить Allow, robots.txt или Block.
RecordedFuture Global Inventory Crawler — автоматизированный клиент, предположительно связанный со сбором публичных web-данных для threat intelligence. Разбираемся, как найти его в access.log, проверить IP и поведение и выбрать Monitor, Rate Limit или Block.
AdsBot-Google-Mobile — специальный мобильный краулер Google Ads для проверки рекламных посадочных страниц. Разбираемся, чем он отличается от Googlebot Smartphone, почему игнорирует глобальный User-agent: *, как проверить настоящий AdsBot по IP и DNS и правильно настроить TrafficVeil.
LinkedInBot — автоматический crawler LinkedIn, который получает страницы для формирования превью ссылок в публикациях и сообщениях. Разбираемся, как определить LinkedInBot в логах, зачем ему Open Graph, как выявить поддельный UA и что произойдёт после блокировки.
TrafficVeil Site Monitor — внутренний сервис мониторинга, который проверяет доступность защищённых доменов через прокси TrafficVeil. Разбираемся, почему его запросы появляются в access.log, как отличить настоящий монитор от поддельного UA и как правильно учитывать этот трафик в аналитике.
Argus NGB Crawler определяется в логах по токену argus-ngb, однако его оператор и точное назначение пока не подтверждены публичной документацией. Разбираемся, как анализировать такой трафик по IP, ASN, fingerprint и поведению и когда применять Monitor, Rate Limit или Block.
Applebot-Extended — не отдельный веб-краулер, а специальный токен robots.txt. Он позволяет запретить использование данных, собранных Applebot, для обучения foundation models Apple, не блокируя обычный поисковый краулер Apple.
Aranet-SearchBot — новый и пока слабо документированный поисковый/AI-краулер, появившийся в логах сайтов в 2026 году. Разбираемся, что о нём действительно известно, как проверить его запросы и когда выбирать Monitor, Rate Limit или Block.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.