Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
За ApifyBot стоит известная платформа автоматизации, а не анонимный оператор — но конкретная цель визита каждый раз может быть другой, потому что на платформе работают тысячи разных клиентов. Разбираем отличие от ApifyWebsiteContentCrawler.
У этого токена нет единого владельца: Crawl4AI — открытая Python-библиотека с 9+ млн скачиваний, и robots.txt здесь соблюдается только если конкретный разработчик сам включил эту настройку. Разбираем, почему нельзя искать «политику оператора» там, где оператора нет.
StartmeBot официально не проверяет robots.txt вообще — но у start.me есть альтернативный канал контроля через прямой email-контакт. Разбираем, зачем боту favicon и RSS вашего сайта.
Что контролирует токен Google-Extended, почему у него нет отдельного HTTP-UA и чем он отличается от Search generative AI control и правил превью в Google Search.
В отличие от лёгких uptime-пингов, StatusCake умеет полноценно рендерить страницу как настоящий браузер. Разбираем противоречивые данные о соблюдении robots.txt и почему антибот-защита может ложно его блокировать.
У Huawei два разных краулера: PetalBot для поиска Petal Search и совершенно отдельный PanguBot для обучения их LLM. Разбираем это разграничение и почему PetalBot особенно значим для рынков MENA и Африки.
Классический краулер Exalead теперь числится в некоторых каталогах как uncategorized — но причина не в анонимности, а в том, что французский поисковик свернул публичный обход после ухода в enterprise. Разбираем, как не спутать его с ExaBot от exa.ai.
Этому боту нужны не общие данные о компании, а конкретно имена, должности и контакты сотрудников со страниц team/about. Разбираем, почему блокировка ничего не ломает на сайте, и старую историю с игнорированием robots.txt.
Реальный продавец в поддержке Pinterest жаловался на сотни запросов в минуту, несмотря на настроенный Crawl-delay: 1.0. Разбираем официальную пользу для сайта и практический компромисс для чувствительных к нагрузке магазинов.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.