Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
TextCortex — известная B2B-платформа для интеграции AI-агентов в рабочие процессы компаний с оценкой 4,9/5 и GDPR-инфраструктурой в ЕС, которая подключает чужие модели (Claude, GPT, Gemini), а не тренирует собственную. Разбираем, почему это делает версию о системном сборе обучающего сырья маловероятной с самого начала, и что более правдоподобно объясняет обращения бота к сторонним сайтам.
Qwantbot — официальный веб-краулер поисковой системы Qwant. Разбираемся, как выглядят Qwantbot и Qwantbot-news, как проверить настоящего робота через reverse/forward DNS и официальный JSON со списком IP, как управлять им через robots.txt и когда выбирать Allow или Block.
AzureAI-SearchBot — новый наблюдаемый User-Agent AzureAI-SearchBot/1.0, появившийся в веб-логах и crawler-базах в 2026 году. Разбираемся, подтверждает ли его Microsoft, как отличить реального AI-crawler от поддельного UA и когда использовать Monitor, Rate Limit или Block.
BinaryCanary — сервис автоматического мониторинга сайтов и серверов, который регулярно проверяет доступность URL, время ответа и состояние сервисов. Разбираемся, почему его запросы появляются в access.log, как отличить штатный uptime-check от spoofing и когда выбирать Allow, Monitor, Rate Limit или Block.
Protopage — RSS-reader и веб-портал, который автоматически получает RSS/Atom-ленты и новостные заголовки для пользовательских виджетов. Разбираемся, почему Protopage/3.0 появляется в access.log, как отличить нормальный feed-fetching от аномального поведения и когда выбирать Allow, Cache, Rate Limit или Block.
MonitoRSS — RSS/Atom-бот для Discord, который автоматически проверяет источники и публикует новые материалы в каналы. Разбираемся, почему его запросы появляются в access.log, почему IP могут сильно отличаться, какие URL он получает и когда выбирать Allow, Cache, Rate Limit или Block.
Краулер BilateralNavigator-PageFetch для двусторонней загрузки страниц в research-проектах. Обходит URL из очередей академических или архивных заданий. Руководство по BilateralNavigator (User-Agent bilateralnavigator, категория «Прочие краулеры и сервисы»): как распознать в access.log, оценить риски и ограничить доступ.
SeznamBot — официальный поисковый crawler чешской поисковой системы Seznam.cz. Разбираемся, как проверить его по User-Agent, IP и PTR, чем отличается FreshBot, как управлять обходом через robots.txt и Request-rate и когда использовать Allow, Limit или Block.
TelegramBot — автоматический fetcher Telegram, который получает веб-страницу, когда пользователь делится ссылкой, чтобы сформировать карточку с заголовком, описанием и изображением. Разбираемся, как найти TelegramBot (like TwitterBot) в access.log, настроить Open Graph и решить, когда использовать Allow или Block.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.