Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Affsignal прямо заявляет: сервис создан, чтобы находить партнёров, продвигающих конкурентов. Разбираем, кому реально видна структура ваших партнёрских ссылок после визита этого краулера.

Qihoo 360 начинала с антивирусов, а сегодня 360Spider — один из самых дисциплинированных краулеров в своей категории. Разбираем, почему официальной reverse DNS верификации у него нет, и как настроить доступ.
За ApifyBot стоит известная платформа автоматизации, а не анонимный оператор — но конкретная цель визита каждый раз может быть другой, потому что на платформе работают тысячи разных клиентов. Разбираем отличие от ApifyWebsiteContentCrawler.
У этого токена нет единого владельца: Crawl4AI — открытая Python-библиотека с 9+ млн скачиваний, и robots.txt здесь соблюдается только если конкретный разработчик сам включил эту настройку. Разбираем, почему нельзя искать «политику оператора» там, где оператора нет.
StartmeBot официально не проверяет robots.txt вообще — но у start.me есть альтернативный канал контроля через прямой email-контакт. Разбираем, зачем боту favicon и RSS вашего сайта.
Что контролирует токен Google-Extended, почему у него нет отдельного HTTP-UA и чем он отличается от Search generative AI control и правил превью в Google Search.
В отличие от лёгких uptime-пингов, StatusCake умеет полноценно рендерить страницу как настоящий браузер. Разбираем противоречивые данные о соблюдении robots.txt и почему антибот-защита может ложно его блокировать.
У Huawei два разных краулера: PetalBot для поиска Petal Search и совершенно отдельный PanguBot для обучения их LLM. Разбираем это разграничение и почему PetalBot особенно значим для рынков MENA и Африки.
Классический краулер Exalead теперь числится в некоторых каталогах как uncategorized — но причина не в анонимности, а в том, что французский поисковик свернул публичный обход после ухода в enterprise. Разбираем, как не спутать его с ExaBot от exa.ai.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.