Google-Display-Ads-Bot и Mediapartners-Google принадлежат к отдельной категории в собственной классификации Google — так называемым special-case crawlers, «краулерам особого случая». Это не рядовые боты, которых можно закрыть одним универсальным правилом: по официальной документации Google, эти краулеры игнорируют общий User-agent * в robots.txt и требуют для себя отдельной, явно прописанной группы правил. Если на сайте крутится реклама AdSense или Google Display, а в robots.txt есть только блок для *, эти два бота всё равно продолжат обход — универсальный запрет на них попросту не распространяется.
Кто есть кто в этой паре
У ботов разделение обязанностей:
- Mediapartners-Google — основной краулер AdSense, который анализирует содержимое страниц, чтобы определить их тематику и подобрать контекстно релевантную рекламу. Именно он посещает сайт, если тот участвует в программе AdSense или подал заявку на участие;
- Google-Display-Ads-Bot — связан с верификацией сайта при добавлении в AdSense/Display и с анализом контента конкретно для формата дисплейной рекламы; работает в связке с семейством Mediapartners-Google, но задокументирован Google как отдельный токен.
Оба явно не участвуют в формировании обычной поисковой выдачи и не имеют отношения к Googlebot Search — это подтверждается прямо в официальной документации Google, разделяющей краулеры по «затрагиваемым продуктам» для каждого агента отдельно.
Параметры
| Параметр | Значение |
| Токены robots.txt | Google-Display-Ads-Bot и Mediapartners-Google — задаются отдельными группами, каждая со своим User-agent |
| Категория у Google | Special-case crawler — глобальный User-agent: * на них не действует |
| Влияние на обычный поиск | Нет — не связаны с Googlebot Search, Google Images или Discover |
| Официальная документация | Google AdSense Help: About the AdSense ads crawler; Google for Developers: список special-case crawlers |
| Соблюдение robots.txt | Да, при условии, что правило прописано явно для конкретного токена — не через * |
| Особенность верификации IP | Special-case краулеры Google работают из отдельного диапазона IP, отличного от обычных краулеров, а их обратный DNS соответствует маске rate-limited-proxy-***-***-***-***.google.com — актуальные диапазоны публикуются Google в отдельном файле special-crawlers.json |
Почему универсальное правило не работает — и это не баг, а официальная логика
Согласно официальной справке AdSense, если реклама показывается на страницах, закрытых от индексации общей директивой User-agent: *, краулер AdSense всё равно будет их обходить — потому что закрытие через wildcard не считается явным запретом именно для него. Это сделано намеренно: цель — не дать администратору случайно сломать показ контекстной рекламы общим правилом, написанным для совсем других целей (например, для блокировки нежелательных SEO-скраперов). Чтобы действительно закрыть доступ этим двум ботам, правило нужно прописать по имени каждого из них.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Сколько трафика он создаёт
По сводке TrafficVeil, суммарная нагрузка от Google-Display-Ads-Bot на подключённых доменах — порядка 60 запросов за отчётный период. Частота визитов у краулеров этого семейства напрямую связана с графиком обновления контента: чем чаще на сайте появляются новые или заметно изменённые страницы, тем активнее их станет пересматривать краулер, чтобы актуализировать таргетинг рекламы.
Стоит ли блокировать
Решение здесь особенно прямолинейно завязано на монетизацию:
- если сайт показывает рекламу через AdSense или Google Display — блокировка этих двух ботов напрямую бьёт по доходу: без свежего анализа контента реклама перестаёт быть контекстно релевантной, что, по данным профильных источников, обычно приводит к снижению эффективности показов и, соответственно, выручки;
- если AdSense/Display на сайте не используется — блокировка ничего не портит;
- на позиции в органической выдаче Google, Bing или Яндекса блокировка не влияет в любом случае — это отдельная от поисковой индексации категория краулеров.
Как найти в логах
grep -i "Google-Display-Ads-Bot\|Mediapartners-Google" /var/log/nginx/access.logДля проверки подлинности запроса — двойной DNS lookup по IP, с ожиданием, что обратное имя будет соответствовать формату rate-limited-proxy-*.google.com, характерному именно для special-case crawlers Google, а не обычному googlebot.com, который используют классические поисковые боты компании.
Как настроить правила
Явный запрет для обоих токенов отдельными группами — без опоры на общий *:
User-agent: Google-Display-Ads-Bot
Disallow: /
User-agent: Mediapartners-Google
Disallow: /Если реклама на сайте используется и нужна её корректная работа — явное разрешение (для многих сайтов это правило нужнее и актуальнее, чем запрет):
User-agent: Google-Display-Ads-Bot
Allow: /
User-agent: Mediapartners-Google
Allow: /Отдельная оговорка на будущее: этих двух ботов не стоит путать с AdsBot-Google — ещё одним отдельным special-case краулером Google, который проверяет качество целевых страниц объявлений (Ads landing pages) в кампаниях Google Ads, а не занимается контекстным анализом контента для AdSense/Display. Это разные задачи с разными токенами, и правило для одного не заменяет правило для другого.
Частые вопросы
Почему общее правило User-agent: * не блокирует эти боты?
Чем Mediapartners-Google отличается от Google-Display-Ads-Bot?
Влияют ли эти боты на позиции в обычном поиске Google?
Как выглядит официальная верификация подлинности этих ботов?
Что будет, если заблокировать эти боты на сайте с рекламой AdSense?
Стоит ли путать эту пару с AdsBot-Google?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.