Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем LightspeedSystemsCrawler — краулер компании Lightspeed Systems, который категоризирует сайты для школьных систем контентной фильтрации в США и Британии. Показываем, почему для контента 18+ allow/deny почти не влияет на итоговую блокировку, как найти бота в access.log и настроить правила.
Разбираем ArenaUnfurlBot — link preview-бота платформы Arena (бывшая LMArena) с многомиллионной аудиторией. Показываем, почему при вирусном шеринге объём запросов может резко вырасти, как найти бота в access.log и почему rate-limit лучше полной блокировки.
Разбираем ClickUpLinkUnfurler — бота платформы ClickUp, который подтягивает превью вашей ссылки для карточек в задачах и подключённых Slack-каналах. Показываем официально задокументированную функцию разворачивания ссылок, как найти бота в access.log и почему блокировка обычно не нужна.
Разбираем bushbaby — официально подтверждённый внутренний бот Cloudflare для управления и продления SSL-сертификатов. Объясняем, почему блокировка этого трафика на сайтах, использующих Cloudflare, рискует сломать HTTPS, и как правильно проверить, нужна ли вообще какая-то реакция.
Разбираем CapitalOneBot — краулер Capital One, который сканирует товарные страницы для сервиса сравнения цен и промокодов Capital One Shopping. Показываем, как найти бота в access.log, и почему магазин вовлекается в чужую систему цен без явного согласия.
Разбираем токен AI21 Labs — принадлежит реальной и серьёзной израильской AI-компании, но без official-документации собственного краулера, в отличие от GPTBot или ClaudeBot. Показываем, почему репутация компании не заменяет верификацию, и как настроить allow/deny.
Разбираем Leikibot — краулер с финскими корнями (Leiki Ltd), который несколько независимых источников сегодня связывают с DoubleVerify. Показываем, почему присутствие бота означает точечный мониторинг цен и товаров конкретным клиентом, а не сканирование сайта, и как настроить allow/deny.
Разбираем LighthouseBot и его вероятную связь с официальным Chrome-Lighthouse от Google — инструментом аудита производительности, который двигает PageSpeed Insights. Показываем, почему это чаще ваш собственный CI/CD-аудит, чем посторонний бот, и как настроить allow/deny.
Разбираем токен AI Writer — происходит из масштабного community-блоклиста Perishable Press и совпадает с названиями десятков разных потребительских AI-приложений для письма. Показываем, почему логика самих продуктов не предполагает сбора данных с чужих сайтов, и как настроить deny по умолчанию.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.