Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Назначение AdsBot-Google и мобильного AdsBot, robots.txt, отдельные IP-диапазоны и диагностика страниц Google Ads. Почему нельзя выводить CPC или гарантированный Quality Score из одного визита краулера.
Как Storebot исследует карточки и checkout, как проверить common-crawler IP и согласовать сайт с Merchant Center. Текущая Merchant API, условные требования атрибутов и сроки изменений изображений.
Как Mediapartners-Google получает содержимое для AdSense, чем отличается от AdsBot и как проверить его источник. Правила robots.txt, корректный Page RPM и управление Auto ads без вымышленных гарантий дохода.
Feedfetcher-Google — специализированный агент Google, предназначенный для получения RSS и Atom фидов по запросу пользователей. Это не традиционный веб-краулер — он относится к категории «user-triggered fetchers»: активируется только тогда, когда реальный человек подписывается на фид через один из Google-сервисов или когда издатель использует протокол PubSubHubbub для уведомления Google об обновлениях.
APIs-Google доставляет уведомления Google API на зарегистрированные HTTPS-endpoint. Как проверить источник, обработать повторы и сохранить защиту webhook.
Google-Read-Aloud — специализированный агент Google, предназначенный для преобразования текста веб-страниц в речь (Text-to-Speech, TTS). Это не традиционный веб-краулер: он относится к категории «user-triggered fetchers» — fetcher'ов, активируемых по запросу пользователя. Google-Read-Aloud запускается только тогда, когда реальный человек включает функцию озвучивания страницы в одном из Google-сервисов.
В экосистеме Google-агентов есть два технических инструмента, которые часто путают друг с другом и с основным Googlebot. Оба появляются в логах сервера эпизодически, оба не влияют на SEO-позиции напрямую, оба работают по запросу пользователя — но выполняют принципиально разные задачи.
Bingbot — поисковый робот Bing. Разделяйте доступ к поиску, происхождение запроса и настройки скорости: совпадение User-Agent не решает все три задачи.
MJ12bot — краулер Majestic с распределённой инфраструктурой. Документированный предел Crawl-delay, ограничения проверки происхождения и измерение нагрузки своего сайта.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.