Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Sur.ly официально обещает полное соблюдение robots.txt, но реальный полевой отчёт фиксирует месяцы игнорирования директив. Разбираем, чем на самом деле занят этот бот — ссылками, а не контентом сайта.
Публичное объяснение Brave о скрытом UA расходится с признанием их же руководителя поиска — и это уже привело к реальному конфликту с сообществом разработчиков. Разбираем эту историю и почему видимый токен Bravebot нельзя криптографически проверить.
В отличие от большинства uptime-мониторов, updown.io публикует живую DNS-запись со всеми своими IP и прямо просит не хардкодить адреса. Разбираем эту прозрачность и почему блокировка почти всегда бьёт по вашему же мониторингу.
Это не общий сборщик контента для чужого ИИ, а сервис генерации товарных описаний с официальной интеграцией под Shopify. Разбираем, почему визит бота вероятнее всего означает, что ваша же команда подключила магазин к сервису.
У известного инструмента для редактирования текста нет функции обхода чужих сайтов. Разбираем, почему эта строка в логах, скорее всего, не связана с реальным продуктом, и как действовать при такой неопределённости.
Как отличить заявленный GoogleOther от подтверждённого запроса Google, выбрать правила для семейства и оценить нагрузку по собственным логам.
Что такое Gemini-Deep-Research, зачем агент Google получает страницы, чем отличается от Googlebot и Google-Extended и как настроить Allow, Monitor или Block.
OI-Crawler — исследовательский веб-краулер проекта OpenINTEL, который получает landing page доменов для интернет-измерений. Разбираемся, зачем он приходит на сайт, как работает с robots.txt, как определить настоящий OI-Crawler/Nutch и когда использовать Allow, Rate Limit или Block.
Meta-ExternalAds — краулер Meta для сценариев, связанных с улучшением рекламных и других бизнес-продуктов компании. Разбираемся, как определить meta-externalads в логах, проверить источник по инфраструктуре Meta и правильно настроить Allow, robots.txt или Block.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.