Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Internet Archive официально признаёт: строка «heritrix» в логах без archive.org может принадлежать постороннему оператору того же open-source ПО. Разбираем, как их отличить, и промежуточный случай с Archive-It.
EzoicBot работает на тысячах машин одновременно — отсюда отсутствие компактного IP-списка. Разбираем, зачем один токен обслуживает обе версии краулера и почему кратковременные всплески частоты — это норма.
Краулер Shenma (SM.CN) обслуживает сотни миллионов мобильных пользователей в Китае, но соблюдение robots.txt у него ненадёжно. Разбираем забавную техническую аномалию в логах, которая помогает отличить настоящий трафик от подделки.
Часть источников уверенно описывает UA DeepSeekBot, другая — утверждает, что DeepSeek обходит сайты анонимно, без задекларированного токена. Разбираем это противоречие и что оно значит для настройки блокировки.
Краулер Google для настроенной интеграции Vertex AI: как проверить запросы, учесть robots.txt и открыть только разрешённый для индексации контент.
Baiduspider — не один бот, а целое семейство: картинки, видео, JS-рендеринг, мобильная версия, мини-программы. Разбираем полный состав, верификацию через rDNS и почему для Baidu работает только Disallow, а не noindex.
TimpiBot собирает данные для децентрализованного поиска Timpi через сеть независимых нод без статических IP. Разбираем, почему это чисто текстовый краулер, какой контент он предпочитает и почему одного robots.txt недостаточно.
YandexRenderResourcesBot дорисовывает страницу так же, как браузер, чтобы Яндекс честно оценивал JS-сайты. Разбираем нюанс с robots.txt (ресурсы vs HTML) и как снизить нагрузку без риска для рендера.
Название ProductLookoutBot звучит как мониторинг товаров, но подтверждённого оператора у него нет. Разбираем, когда такой гипотезе можно доверять, а когда — только поведению бота.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.