Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Токен «HuaweiCrawler» не совпадает с официальным именем краулера Huawei — PetalBot. Разбираем, почему это расхождение критично для проверки подлинности, и когда блокировка PetalBot может стоить реального трафика.
Название прямо намекает на Honeybadger.io — сервис мониторинга ошибок и доступности. Разбираем, почему это, вероятно, узкий uptime-пинг, а не широкий обход, и когда стоит спросить коллег, прежде чем блокировать.
BitSightBot собирает внешние сигналы защищённости для рейтингов BitSight — по модели, похожей на кредитное бюро. Разбираем, почему источники расходятся насчёт robots.txt, и когда allow работает на вашу же репутацию.
HubSpot Crawler появляется в логах, когда кто-то использует продукты HubSpot против вашего домена — часто это ваша же команда. Разбираем семейство ботов HubSpot и как настроить каждый по отдельности.
Anomura — поисковый краулер компании Direqt для их AI-продукта, а не анонимный скрапер. Разбираем, чем это отличается от типового «нежелательного» бота и когда allow действительно оправдан.
Название HIFIBot наводит на мысли об аудиотехнике, но это лишь созвучие, а не доказательство. Разбираем, почему угадывать оператора по имени — плохая идея, и что делать при полном отсутствии данных.
Под именем Hatena в логах скрывается семейство минимум из пяти разных ботов японской компании Hatena. Разбираем, чем занимается каждый и почему для японской аудитории их стоит настраивать по отдельности, а не блокировать одним махом.
Оператор GuestpostsBot нигде не подтверждён, но само название указывает на целую нишу SEO-инструментов для поиска сайтов под гостевые публикации. Разбираем эту гипотезу и даём практику по контролю доступа.
GoParserBot — типичный самописный краулер на языке Go без подтверждённого оператора. Разбираем, почему такие «говорящие» технические имена не гарантируют легитимность, и как их проверять.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.