Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Краулер Shenma (SM.CN) обслуживает сотни миллионов мобильных пользователей в Китае, но соблюдение robots.txt у него ненадёжно. Разбираем забавную техническую аномалию в логах, которая помогает отличить настоящий трафик от подделки.
Часть источников уверенно описывает UA DeepSeekBot, другая — утверждает, что DeepSeek обходит сайты анонимно, без задекларированного токена. Разбираем это противоречие и что оно значит для настройки блокировки.
Краулер Google для настроенной интеграции Vertex AI: как проверить запросы, учесть robots.txt и открыть только разрешённый для индексации контент.
Baiduspider — не один бот, а целое семейство: картинки, видео, JS-рендеринг, мобильная версия, мини-программы. Разбираем полный состав, верификацию через rDNS и почему для Baidu работает только Disallow, а не noindex.
TimpiBot собирает данные для децентрализованного поиска Timpi через сеть независимых нод без статических IP. Разбираем, почему это чисто текстовый краулер, какой контент он предпочитает и почему одного robots.txt недостаточно.
YandexRenderResourcesBot дорисовывает страницу так же, как браузер, чтобы Яндекс честно оценивал JS-сайты. Разбираем нюанс с robots.txt (ресурсы vs HTML) и как снизить нагрузку без риска для рендера.
Название ProductLookoutBot звучит как мониторинг товаров, но подтверждённого оператора у него нет. Разбираем, когда такой гипотезе можно доверять, а когда — только поведению бота.
Краулер Miralinks обходит площадки не ради текста, а чтобы подтвердить соответствие требованиям биржи — возраст домена, хостинг, число проиндексированных страниц. Разбираем логику визитов и частую путаницу с Telegram-ботом.
DataForSeoBot собирает данные для Backlinks API компании DataForSEO. Разбираем двусторонний эффект блокировки, официальную классификацию Cloudflare Radar и разницу с OnPage-краулером RSiteAuditor.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.