Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

Ниже — живые данные из системы мониторинга бот-трафика pbnshield. Период наблюдения: 3 марта — 2 июня 2026 года (91 день). За это время зафиксировано 96 421 251 запрос от 161 уникального бота. Никаких синтетических тестов — только продакшен-логи.
Googlebot-Image — специализированный краулер Google, предназначенный исключительно для обхода, анализа и индексации изображений. Он является частью экосистемы краулеров Google и отвечает за наполнение сервиса Google Images.
YandexUserproxy — один из наименее документированных агентов в экосистеме Яндекса. В отличие от YandexBot, YandexImages или YandexNews, Яндекс не публикует официального описания этого агента в своей документации для вебмастеров. Тем не менее он регулярно появляется в логах серверов и заслуживает внимательного изучения.

Googlebot — имя роботов Google Search. Его присутствие в логах помогает анализировать обход, но не доказывает индексацию или рост позиций.
Googlebot-News — специализированный краулер Google, предназначенный исключительно для индексации новостного контента. Он обеспечивает работу сервисов Google News, Google Discover и блока «Главные новости» (Top Stories) в результатах поиска.
YandexMetrika — агент Яндекса, связанный с аналитическим сервисом Яндекс.Метрика. Он появляется в логах серверов у владельцев сайтов, использующих счётчик Метрики, и у тех, кто работает с Яндекс.Вебмастером. Это не поисковый краулер в традиционном смысле: YandexMetrika не индексирует страницы для поисковой выдачи и не влияет на SEO-позиции напрямую.
Googlebot-Video — специализированный краулер Google, предназначенный для обхода, анализа и индексации видеоконтента. Он обеспечивает работу видеорезультатов в Google Search (блок «Видео» в выдаче), Google Videos и видеопревью в Google Discover. В отличие от основного Googlebot, который обрабатывает страницы в целом, Googlebot-Video целенаправленно анализирует видеофайлы, метаданные к ним и сигналы качества видеоконтента.
Назначение AdsBot-Google и мобильного AdsBot, robots.txt, отдельные IP-диапазоны и диагностика страниц Google Ads. Почему нельзя выводить CPC или гарантированный Quality Score из одного визита краулера.
Как Storebot исследует карточки и checkout, как проверить common-crawler IP и согласовать сайт с Merchant Center. Текущая Merchant API, условные требования атрибутов и сроки изменений изображений.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.