Google-AdWords-Express: токен, которого нет в документации Google

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а Google-AdWords-Express с User-Agent google-adwords-express. Важное уточнение по итогам проверки: в актуальном официальном перечне спец-краулеров Google (developers.google.com, раздел Special-Case Crawlers) токена «Google-AdWords-Express» нет — ни среди действующих, ни среди помеченных как retired. Это не значит автоматически, что весь такой трафик поддельный, но означает, что полагаться на метку «Оператор: Google» без дополнительной проверки здесь рискованнее, чем для документированных Google-краулеров.

1. Что такое Google-AdWords-Express

Название явно отсылает к продукту AdWords Express — упрощённому, во многом автоматизированному формату рекламы для малого бизнеса, который Google развивал около десяти лет назад и впоследствии переименовал и объединил с другими инструментами (в частности, в рамках перехода к Smart Campaigns). В действующей официальной документации Google по краулерам сегодня для проверки качества рекламных посадочных страниц используются другие, актуальные и явно задокументированные токены — AdsBot-Google и AdsBot-Google-Mobile. Если в логах встречается именно строка «Google-AdWords-Express», разумно относиться к ней как к устаревшему или неофициальному идентификатору и проверять её тщательнее, чем современные документированные токены Google.

2. Зачем Google-AdWords-Express приходит на сайт

Если это действительно связано с рекламой Google Ads (в любой её современной форме, включая упрощённые Smart Campaigns — наследника AdWords Express), цель — оценка качества посадочной страницы: загрузки, мобильной адаптивности, соответствия контента объявлению. Это напрямую влияет на показатель качества и стоимость клика в аукционе Google Ads, поэтому агрессивно блокировать подобный трафик рискованно для рекламодателя.

• Какие зоны чаще трогает: посадочные, /lp/, UTM-варианты URL, advertorial-страницы;
• Что ищет: контент и метаданные посадочной страницы — по аналогии с задокументированным поведением AdsBot-Google;
• Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.

Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по google-adwords-express показывает обращения на лендинги и UTM-URL — прежде чем принимать решение, стоит свериться с реальным, документированным поведением AdsBot-Google, поскольку именно эти токены сегодня официально отвечают за проверку качества рекламы Google.

3. Нагрузка и риски именно для Google-AdWords-Express

Отдельной строки в публичной сводке top-bot TrafficVeil у google-adwords-express может не быть, но в категории «Рекламные и AdTech-боты» такие агенты дают характерный фон: лишние хиты на лендинги и thank-you page, иногда обход UTM-URL. Дополнительный риск именно для этого токена — раз он не значится в актуальной официальной документации Google, вероятность встретить здесь спуфинг (кто-то выдаёт себя за Google под устаревшим или вымышленным именем) выше, чем для действующих AdsBot-токенов.

4. Как найти Google-AdWords-Express в логах

Не ищите «просто ботов» — ищите конкретный токен google-adwords-express и обязательно проверяйте его отдельно от настоящих AdsBot-токенов Google.

# Базовый поиск
grep -i "google-adwords-express" /var/log/nginx/access.log

# Сравнить с реальными, задокументированными Google Ads-краулерами
grep -iE "adsbot-google|adsbot-google-mobile" /var/log/nginx/access.log | wc -l

# Топ URL, которые вычитывает бот
grep -i "google-adwords-express" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "google-adwords-express" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "google-adwords-express" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Подделать User-Agent может любой скрипт, а поскольку официальной страницы именно для Google-AdWords-Express нет, эта проверка здесь особенно важна. Для настоящих Google Ads-краулеров работает связка: IP из official special-crawlers.json + обратный DNS на маску rate-limited-proxy-***-***-***-***.google.com. Если запрос с этим UA не подтверждается ни тем, ни другим — доверять названию не стоит.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Google-AdWords-Express

# Жёсткий запрет
User-agent: google-adwords-express
Disallow: /

# Разрешить всё
User-agent: google-adwords-express
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: google-adwords-express
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: если сайт действительно ведёт рекламу через Google Ads, убедитесь, что настоящие AdsBot-Google и AdsBot-Google-Mobile разрешены отдельными явными правилами — общий Disallow для User-agent: * их не остановит, но и не гарантирует доступ, если явного разрешающего правила для их собственного токена нет. Правило именно для google-adwords-express можно смело ограничивать — задокументированной необходимости в нём для текущей рекламной инфраструктуры Google не найдено.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "google-adwords-express") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=googleadwordsexpre:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "google-adwords-express") {
        limit_req zone=googleadwordsexpre burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} google-adwords-express [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите google-adwords-express в ботах домена или в /system/bots;
• Проверьте IP по official special-crawlers.json и обратному DNS, прежде чем считать трафик настоящим Google;
• Если сайт ведёт рекламу через Google Ads, отдельно убедитесь, что явно разрешены именно AdsBot-Google и AdsBot-Google-Mobile — они куда важнее для качества рекламы, чем устаревший токен;
• После изменения сверьте логи и метрики Google Ads Quality Score, если сайт рекламируется — блокировка настоящих AdsBot-токенов может повредить показателям качества.

7. Рекомендации: что делать с Google-AdWords-Express

• Если не льёте рекламу через этого игрока — можно резать, тем более что токен не подтверждён в актуальной документации Google;
• Если сайт рекламируется в Google Ads — приоритет отдайте проверке AdsBot-Google и AdsBot-Google-Mobile, а не устаревшему Google-AdWords-Express;
• Обязательно верифицируйте по IP/rDNS перед тем как безусловно доверять любому трафику с «Google» в названии — метка UA сама по себе не доказательство;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть настоящий Googlebot/AdsBot-Google;
• Что будет при блокировке: если это не связано с текущей рекламной инфраструктурой (а вероятнее всего, не связано) — теряете немного или ничего.

8. С кем не путать Google-AdWords-Express

9. Стратегия allow/deny для Google-AdWords-Express