Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем токен AI Writer — происходит из масштабного community-блоклиста Perishable Press и совпадает с названиями десятков разных потребительских AI-приложений для письма. Показываем, почему логика самих продуктов не предполагает сбора данных с чужих сайтов, и как настроить deny по умолчанию.
Разбираем токен AI SEO Crawler — не совпадает ни с реальными SEO-краулерами (AhrefsBot, SemrushBot), ни с реальными AI-краулерами (GPTBot, PerplexityBot). Показываем, какие настоящие токены разрешать вместо него, и почему deny по умолчанию оправдан.
Разбираем токен AI Search Engine — не совпадает ни с одним реальным документированным AI-поисковым краулером. Показываем, какие настоящие токены (PerplexityBot, OAI-SearchBot, Google-Extended) стоит разрешать вместо него, если цель — цитирования в AI-ответах.
Разбираем adbeat_bot — краулер платной платформы Adbeat, которая отслеживает рекламные стратегии конкурентов для своих клиентов. Показываем, почему сайт попадает в её выборку просто из-за показа рекламы, как найти бота в access.log и настроить allow/deny.
Разбираем EvernoteRichLinkBot — бота компании Evernote, который подтягивает превью ссылки, когда пользователь сохраняет её в заметке. Показываем связь со старым токеном Evernote Clip Resolver, реальный репутационный спор вокруг таких ботов, и как настроить allow/deny.
Разбираем токен AI Content Detector — совпадает по смыслу с реальной и развитой индустрией (GPTZero, Copyleaks, Originality.ai), но без подтверждённой связи с конкретным оператором. Показываем, почему логика самих детекторов не предполагает фонового обхода сайтов, и как настроить deny по умолчанию.
Разбираем Diffbot — платформу структурированных веб-данных с собственным краулингом для Knowledge Graph и клиентским Extract/Crawl API. Показываем открытое противоречие в источниках насчёт AI-тренировки, как найти оба токена в access.log и настроить allow/deny.
Разбираем Browserbase — облачную инфраструктуру headless-браузеров для AI-агентов и автоматизации, которой пользуются тысячи разных компаний. Объясняем, почему часть трафика этой платформы намеренно не видна в логах, и как найти бота, настроить allow/deny.
Разбираем LeakIX Scanner (l9scan) — security-инструмент, который сканирует не только веб-страницы, но и открытые порты сервисов. Показываем официальный список IP, почему robots.txt здесь малоэффективен, и почему репутация сервиса в сообществе неоднозначная.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.