Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Meta-ExternalFetcher получает отдельные ссылки по запросу пользователя. Это другой сценарий, чем массовый автоматический сбор Meta-ExternalAgent.
У Cotoyogi нет официальной документации или контактов оператора, но его классификация как training-краулера для обучения AI-моделей независимо повторяется сразу в нескольких разных каталогах ботов — более надёжный сигнал, чем совпадение в одном общем списке. Разбираемся, почему это меняет уровень доверия к оценке риска и почему блокировка здесь остаётся единственным доступным способом реагирования при отсутствии канала связи с оператором.
«Conversion AI» — это название, под которым нынешняя платформа Jasper AI работала только в 2021 году, прежде чем дважды сменить имя. Разбираемся, почему запись под этим токеном в базе, скорее всего, устарела с самого момента создания, и почему современный трафик под таким именем заслуживает подозрения, а не автоматического доверия «легитимный AI-краулер».
ContentAtScale принадлежит известной платформе генерации SEO-контента (ныне BrandWell AI), которая проводит реал-тайм SERP-анализ под каждую генерируемую статью, а не собирает контент впрок для обучения AI-модели. Разбираемся, почему обращение к вашей странице почти всегда означает, что кто-то из клиентов платформы сейчас пишет статью на ту же тему, и почему реальный риск — конкурентная разведка, а не утечка в чат-бота.
cXensebot принадлежит норвежской Cxense ASA, ныне части платформы Piano для paywall и подписочной аналитики СМИ, и по данным Cloudflare Radar выполняет мониторинг именно клиентских страниц сервиса. Разбираемся, почему первый шаг здесь — проверить, не подключён ли сайт к Piano/Cxense, и как реально верифицировать подлинность запроса через обратный DNS.
В отличие от многих ботов с похожими названиями, McontextualBot имеет официальную страницу оператора MContextual, где прямо написано о сборе контента для контекстной рекламы, и подтверждён рабочий способ блокировки через robots.txt. Разбираемся, почему сверка по IP здесь малоинформативна из-за облачной инфраструктуры AWS/GCP и когда allow может быть осмысленным решением для монетизирующихся рекламой сайтов.
У Mastodon в принципе нет единого IP-диапазона для проверки — платформа децентрализована, и тысячи независимых серверов каждый самостоятельно фетчят превью ссылок. Разбираемся, почему стандартная сверка с ASN здесь не работает, что означает необычно частый повторный запрос к одному изображению, и почему robots.txt для этого бота — скорее декларация, чем реальный контроль.
special_archiver — не отдельный независимый бот, а токен того же операторского контура, что и Archive-It: Internet Archive в партнёрстве с Library of Congress. Разбираемся, почему у этого архивного краулера редко для категории есть открыто опубликованные IP-диапазоны, и почему данные о соблюдении robots.txt здесь противоречивы настолько, что полагаться только на файл не стоит.
ConvermaxBot принадлежит реальной e-commerce компании Convermax, которая продаёт интернет-магазинам поиск по сайту и специализированный fitment-поиск для автозапчастей — и в первую очередь стоит проверить, не установлен ли этот виджет на самом магазине, прежде чем блокировать бота как постороннего. Разбираемся, когда трафик означает вашу собственную поисковую инфраструктуру, а когда — стороннюю конкурентную разведку.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.