Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
ImageMetaBot — специализированный краулер Image-Meta, который обнаруживает публичные изображения и индексирует встроенные EXIF, IPTC и XMP-метаданные. Разбираемся, какую информацию он собирает, как найти его в access.log, какую нагрузку он создаёт и стоит ли его блокировать.
IFTTT — сервис автоматизации, запросы которого могут появляться в access.log из-за Applets, Webhooks и интеграций с внешними сайтами и API. Разбираемся, как определить такой трафик, отличить настоящую автоматизацию от поддельного User-Agent и правильно настроить TrafficVeil.
Sogou web spider — поисковый робот китайской системы Sogou. Разбираемся, зачем он сканирует сайт, как проверить настоящий SogouBot по логам и DNS, какую нагрузку он создаёт и когда выбирать Allow, Rate Limit или Block.
synthetic-monitoring-agent — агент Grafana Synthetic Monitoring для автоматической проверки доступности и производительности сайтов, API и сетевых сервисов. Разбираемся, почему он появляется в access.log, как отличить настоящий monitoring probe от подделки и когда выбирать Allow, Rate Limit или Block.
EcoVadisSustainabilityBot — специализированный веб-краулер, связанный с платформой EcoVadis и автоматизированным сбором публичной информации о компаниях и их ESG-практиках. Разбираемся, зачем он посещает сайты, какую нагрузку может создавать, как проверить его в логах и когда лучше выбрать Allow, Rate Limit или Block.
За этим ботом стоит SB Intuitions — ИИ-подразделение SoftBank Group с открытой страницей краулера и подтверждённым соблюдением RFC 9309. Разбираем, почему это один из немногих AI-краулеров, где Disallow реально работает.
За этим токеном стоит известный облачный провайдер DigitalOcean, а краулинг запускается только по явной команде клиента — построить базу знаний для своего ИИ-агента. Разбираем, почему это не «сырьевой» AI-бот, и как официально подтверждённое соблюдение robots.txt меняет тактику.
Единственное найденное описание этого токена — универсальный шаблон, применяемый к десяткам других неопознанных ботов. Разбираем, как отличать реальные факты от «дежурных» формулировок каталогов.
Парадокс из практики скрейпинга: узнаваемое, «говорящее» название иногда принадлежит более прозрачному автору, чем маскировка под браузер. Разбираем эту логику и почему даже 5,7% известных AI-ботов оказываются подделкой.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.