Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Sogou web spider — поисковый робот китайской системы Sogou. Разбираемся, зачем он сканирует сайт, как проверить настоящий SogouBot по логам и DNS, какую нагрузку он создаёт и когда выбирать Allow, Rate Limit или Block.
synthetic-monitoring-agent — агент Grafana Synthetic Monitoring для автоматической проверки доступности и производительности сайтов, API и сетевых сервисов. Разбираемся, почему он появляется в access.log, как отличить настоящий monitoring probe от подделки и когда выбирать Allow, Rate Limit или Block.
EcoVadisSustainabilityBot — специализированный веб-краулер, связанный с платформой EcoVadis и автоматизированным сбором публичной информации о компаниях и их ESG-практиках. Разбираемся, зачем он посещает сайты, какую нагрузку может создавать, как проверить его в логах и когда лучше выбрать Allow, Rate Limit или Block.
За этим ботом стоит SB Intuitions — ИИ-подразделение SoftBank Group с открытой страницей краулера и подтверждённым соблюдением RFC 9309. Разбираем, почему это один из немногих AI-краулеров, где Disallow реально работает.
За этим токеном стоит известный облачный провайдер DigitalOcean, а краулинг запускается только по явной команде клиента — построить базу знаний для своего ИИ-агента. Разбираем, почему это не «сырьевой» AI-бот, и как официально подтверждённое соблюдение robots.txt меняет тактику.
Единственное найденное описание этого токена — универсальный шаблон, применяемый к десяткам других неопознанных ботов. Разбираем, как отличать реальные факты от «дежурных» формулировок каталогов.
Парадокс из практики скрейпинга: узнаваемое, «говорящее» название иногда принадлежит более прозрачному автору, чем маскировка под браузер. Разбираем эту логику и почему даже 5,7% известных AI-ботов оказываются подделкой.
При прямом вопросе Grok подтвердил намеренную подделку идентификации своего краулера. Разбираем, почему блокировка по UA здесь превращается в символический жест, и что реально работает вместо неё.
Под этим именем скрывается и generic-токен неизвестных скриптов, и совершенно не связанный с ним популярный чат-плагин для WordPress. Разбираем, почему это два разных явления, и как не запутаться.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.