AdsBot-Google-Mobile: что это за бот Google Ads и почему его не стоит блокировать

AdsBot-Google-Mobile — специальный мобильный краулер Google, используемый продуктом Google Ads для проверки качества и доступности мобильных посадочных страниц объявлений. Он относится к категории special-case crawlers Google и работает отдельно от обычного Googlebot, который используется Google Search.

Это важно для настройки антибота: AdsBot-Google-Mobile нельзя считать обычным поисковым роботом и нельзя автоматически применять к нему те же правила, что к Googlebot Smartphone.

Как выглядит User-Agent AdsBot-Google-Mobile

Google публикует актуальный пример мобильного User-Agent:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P)
AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/W.X.Y.Z Mobile Safari/537.36
(compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

Версия Chrome может меняться. Для обнаружения в логах лучше использовать устойчивый токен:

AdsBot-Google-Mobile

Не стоит строить правило на точном номере Chrome, Android или конкретной модели устройства.

Зачем Google Ads проверяет посадочную страницу

Google Ads должен понимать, доступна ли рекламная landing page и может ли система проверить её качество. Если AdsBot не может получить страницу, это способно привести к ошибкам проверки назначения и проблемам с рекламой.

В рамках мобильного сценария AdsBot-Google-Mobile помогает проверить, что:

• URL доступен с мобильного профиля;
• страница не возвращает ошибку HTTP;
• редиректы приводят на рабочий адрес;
• Google Ads может получить страницу для проверки её качества;
• защитные механизмы сайта не блокируют проверяющий crawler.

AdsBot-Google-Mobile и Googlebot Smartphone — это разные боты

Поэтому правило, предназначенное для Googlebot, не следует считать автоматической политикой для AdsBot-Google-Mobile.

Почему AdsBot-Google-Mobile игнорирует User-agent: *

Это одна из самых важных особенностей бота. Google прямо относит AdsBot к special-case crawler и указывает, что глобальная группа:

User-agent: *
Disallow: /

сама по себе не является правилом для AdsBot-Google-Mobile.

Если нужно управлять именно этим crawler, требуется отдельная группа:

User-agent: AdsBot-Google-Mobile
Disallow: /

Или более точечная политика для отдельных директорий.

Пример robots.txt для сайта с Google Ads

Если рекламные landing page должны оставаться доступными:

User-agent: AdsBot-Google-Mobile
Allow: /

Если требуется закрыть только конкретный раздел:

User-agent: AdsBot-Google-Mobile
Disallow: /private/
Disallow: /internal/
Allow: /

Не закрывайте рекламную landing page, которую Google Ads должен проверять, если хотите избежать проблем с её crawlability.

Можно ли закрыть checkout или личный кабинет

Да. Для AdsBot нет необходимости предоставлять доступ ко всем техническим разделам сайта. Политику лучше строить по принципу минимально необходимого доступа.

User-agent: AdsBot-Google-Mobile
Disallow: /account/
Disallow: /checkout/
Disallow: /admin/
Allow: /

Главное — убедиться, что конечные URL рекламных объявлений и ресурсы, необходимые для корректной проверки страницы, остаются доступны.

Как найти AdsBot-Google-Mobile в access.log

grep -i "AdsBot-Google-Mobile" /var/log/nginx/access.log

Топ URL:

grep -i "AdsBot-Google-Mobile" /var/log/nginx/access.log \
| awk '{print $7}' \
| sort | uniq -c | sort -rn | head -30

Топ IP:

grep -i "AdsBot-Google-Mobile" /var/log/nginx/access.log \
| awk '{print $1}' \
| sort | uniq -c | sort -rn | head -30

Коды ответа:

grep -i "AdsBot-Google-Mobile" /var/log/nginx/access.log \
| awk '{print $9}' \
| sort | uniq -c | sort -rn

Особенно важно проверить наличие 403, 429 и 5xx. Они могут указывать, что AdsBot упирается в WAF, rate limit или ошибку приложения.

Как проверить, что это настоящий AdsBot Google

User-Agent Google легко подделать. Google рекомендует проверять происхождение crawler через DNS или официальные IP-диапазоны.

Для special-case crawler, включая AdsBot, Google публикует диапазоны в:

special-crawlers.json

Другой вариант — FCRDNS-проверка.

host 66.249.90.77

Для special-case crawler ожидается hostname формата:

rate-limited-proxy-66-249-90-77.google.com

После reverse lookup необходимо выполнить прямое разрешение:

host rate-limited-proxy-66-249-90-77.google.com

Полученный адрес должен совпасть с исходным IP.

Почему проверка только по google.com недостаточна

Для TrafficVeil желательно проверять не просто окончание hostname, а всю цепочку:

1. User-Agent содержит AdsBot-Google-Mobile;
2. IP входит в актуальный special-crawlers.json или проходит DNS-проверку Google;
3. reverse DNS соответствует ожидаемому special-crawler паттерну;
4. forward lookup возвращает исходный IP;
5. поведение соответствует AdsBot.

Так TrafficVeil не выдаст trusted-статус скрипту, который просто скопировал Google UA.

Как выглядит нормальное поведение AdsBot-Google-Mobile

Что будет, если заблокировать AdsBot-Google-Mobile

Блокировка не равна запрету обычного Googlebot и сама по себе не означает удаление страницы из органического поиска Google.

Но для Google Ads последствия другие: если AdsBot не сможет получить рекламную landing page, Google может не суметь корректно проверить страницу. В Google Ads существуют ошибки вида destination not working / destination not crawlable, и блокировка AdsBot — одна из возможных причин проблем с доступностью назначения.

Поэтому для сайта, который использует Google Ads, подтверждённый AdsBot-Google-Mobile обычно следует разрешать на рекламных landing page.

Нужно ли применять Rate Limit

К подтверждённому AdsBot стоит относиться осторожно. Слишком жёсткий rate limit способен превращаться в 429 и мешать проверке landing page.

Если трафик выглядит чрезмерным:

1. сначала подтвердите, что запросы действительно идут от Google;
2. посмотрите, какие URL получает crawler;
3. проверьте, не генерирует ли рекламная конфигурация большое количество целей;
4. изучите динамические URL и redirects;
5. только после этого ограничивайте частоту.

Google отдельно отмечает, что AdsBot crawling может быть связан, например, с Dynamic Search Ads targets.

Блокировка через Nginx

Если AdsBot действительно требуется запретить:

if ($http_user_agent ~* "AdsBot-Google-Mobile") {
    return 403;
}

Но такое правило матчится только по User-Agent и не проверяет происхождение запроса.

Блокировка через Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AdsBot-Google-Mobile [NC]
RewriteRule ^ - [F,L]

Как учитывать AdsBot-Google-Mobile в аналитике

AdsBot-Google-Mobile — автоматический трафик Google, поэтому его не следует учитывать как реального пользователя.

Для TrafficVeil оптимальная классификация:

Automated traffic → Ads Verification → Google Ads → Mobile.

Его следует:

• исключать из human visits;
• исключать из конверсий;
• не считать вредоносным ботом при подтверждённой идентификации;
• учитывать отдельно в service/verification traffic;
• показывать связь с Google Ads.

AdsBot-Google-Mobile и AdsBot-Google

Google поддерживает отдельные токены для мобильного и обычного AdsBot:

• AdsBot-Google-Mobile — mobile web;
• AdsBot-Google — AdsBot.

Если сайт использует Google Ads, TrafficVeil лучше распознавать их как одно семейство Google AdsBot с отдельными подтипами.

Как классифицировать в TrafficVeil

Что показывать пользователю TrafficVeil

Вместо обычного сообщения «легитимный бот» полезнее дать конкретное объяснение:

AdsBot-Google-Mobile используется Google Ads для проверки мобильных рекламных страниц. Если вы запускаете Google Ads на этот домен, блокировка может помешать проверке landing page.

Дополнительно можно показывать:

• подтверждён ли IP;
• результат FCRDNS;
• количество запросов;
• топ landing page;
• количество 403/429/5xx;
• последнюю успешную проверку;
• соотношение mobile AdsBot и desktop AdsBot.

Итог

AdsBot-Google-Mobile — легитимный special-case crawler Google Ads для мобильных landing page. Он отличается от Googlebot Smartphone, использует отдельную инфраструктуру special-case crawler и требует собственной группы в robots.txt.

Самая важная особенность: глобальный User-agent: * для него игнорируется. Поэтому разрешение или запрет следует задавать непосредственно для AdsBot-Google-Mobile.

Для сайтов, использующих Google Ads, базовая политика TrafficVeil должна быть Verified + Allow после проверки UA и IP/DNS. При этом AdsBot необходимо исключать из человеческой аналитики и учитывать отдельно как Ads Verification traffic.