Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Как Mediapartners-Google получает содержимое для AdSense, чем отличается от AdsBot и как проверить его источник. Правила robots.txt, корректный Page RPM и управление Auto ads без вымышленных гарантий дохода.
Feedfetcher-Google — специализированный агент Google, предназначенный для получения RSS и Atom фидов по запросу пользователей. Это не традиционный веб-краулер — он относится к категории «user-triggered fetchers»: активируется только тогда, когда реальный человек подписывается на фид через один из Google-сервисов или когда издатель использует протокол PubSubHubbub для уведомления Google об обновлениях.
APIs-Google доставляет уведомления Google API на зарегистрированные HTTPS-endpoint. Как проверить источник, обработать повторы и сохранить защиту webhook.
Google-Read-Aloud — специализированный агент Google, предназначенный для преобразования текста веб-страниц в речь (Text-to-Speech, TTS). Это не традиционный веб-краулер: он относится к категории «user-triggered fetchers» — fetcher'ов, активируемых по запросу пользователя. Google-Read-Aloud запускается только тогда, когда реальный человек включает функцию озвучивания страницы в одном из Google-сервисов.
В экосистеме Google-агентов есть два технических инструмента, которые часто путают друг с другом и с основным Googlebot. Оба появляются в логах сервера эпизодически, оба не влияют на SEO-позиции напрямую, оба работают по запросу пользователя — но выполняют принципиально разные задачи.
Bingbot — поисковый робот Bing. Разделяйте доступ к поиску, происхождение запроса и настройки скорости: совпадение User-Agent не решает все три задачи.
MJ12bot — краулер Majestic с распределённой инфраструктурой. Документированный предел Crawl-delay, ограничения проверки происхождения и измерение нагрузки своего сайта.

Если у сайта открыт реальный IP сервера, origin остаётся уязвимым для прямых атак, сканеров, парсеров, DDoS-нагрузки и обхода защитного контура. Даже если сайт использует WAF, CDN или антибот, при открытом backend IP злоумышленник может попытаться обратиться к серверу напрямую.
Как проверить подлинность YandexBot, настроить обход и не заблокировать поиск. Crawl-delay Яндекс не поддерживает; актуальные первичные источники.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.