Google AdsBot

Понимание работы AdsBot критически важно для всех, кто использует Google Ads: от ошибок в robots.txt, блокирующих этого бота, напрямую зависит показатель качества рекламы, стоимость клика (CPC) и возможность показа объявлений вообще.

1. Что такое Google AdsBot

1.1 User-Agent строки

AdsBot существует в двух версиях — для мобильных и десктопных страниц:

# AdsBot для десктопных страниц (Google Ads):
AdsBot-Google (+http://www.google.com/adsbot.html)

# AdsBot для мобильных страниц (Google Ads Mobile):
AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X)
AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2
Mobile/15E148 Safari/604.1
(compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

# AdsBot для AdSense:
Mediapartners-Google

1.2 Виды AdsBot и их назначение

1.3 Место в экосистеме Google-ботов

1.4 Ключевое отличие от Googlebot

⚠ Критически важно: AdsBot-Google по умолчанию не подчиняется директиве User-agent: * в robots.txt. Чтобы заблокировать его, необходимо указать его User-Agent явно. Это означает, что стандартная запись User-agent: * / Disallow: /landing/ не остановит AdsBot — он всё равно зайдёт на страницу.

1.5 IP-адреса

AdsBot использует те же IP-диапазоны Google (AS15169), что и Googlebot. Актуальный список:

https://developers.google.com/search/apis/ipranges/googlebot.json

# Дополнительный список IP для Google Special Crawlers (включает AdsBot):
https://developers.google.com/static/search/apis/ipranges/special-crawlers.json

2. Как работает Google AdsBot

2.1 Этапы работы

1. Рекламодатель создаёт объявление в Google Ads и указывает URL landing page.
2. AdsBot-Google получает задание проверить указанную страницу.
3. Краулер скачивает landing page (HTML, CSS, JS) и анализирует её содержимое.
4. Проверяется соответствие политике Google Ads: контент, навигация, прозрачность.
5. Оценивается релевантность страницы ключевым словам объявления.
6. Анализируется пользовательский опыт: скорость загрузки, мобильная адаптация, навигация.
7. Формируется компонент Quality Score (показатель качества целевой страницы).
8. Результат влияет на CPC, позицию объявления и право на показ.

2.2 Что AdsBot анализирует

2.3 Quality Score — как AdsBot влияет на стоимость рекламы

Quality Score (показатель качества) — оценка от 1 до 10, которую Google присваивает каждому ключевому слову в рекламном аккаунте. Он состоит из трёх компонентов:

Влияние Quality Score на стоимость клика:

Вывод: блокировка AdsBot-Google в robots.txt = Quality Score падает до минимума = стоимость клика удваивается или объявления перестают показываться.

2.4 Частота обходов

AdsBot проверяет landing pages значительно реже, чем Googlebot обходит обычные страницы:

• Новое объявление — проверка в течение нескольких часов после создания
• Существующие объявления — повторная проверка примерно раз в 2–4 недели
• При изменении landing page — внеплановая проверка в ближайшие дни
• При нарушении политики — учащённые проверки

3. Нагрузка на сервер

По сравнению с Googlebot, AdsBot создаёт значительно меньшую нагрузку: он проверяет только те страницы, которые указаны как landing pages в активных рекламных кампаниях, и делает это относительно редко.

3.1 Типичная нагрузка

3.2 Когда нагрузка резко возрастает

• Запуск новой масштабной кампании — AdsBot проверяет все новые landing pages одновременно
• Массовое изменение URL объявлений — переписка всех ссылок провоцирует повторный обход
• После устранения нарушений политики — Google проверяет исправленные страницы
• При A/B тестировании — каждый вариант страницы проверяется отдельно

3.3 Признаки активности AdsBot в логах

# Найти запросы AdsBot в access.log:
grep -i 'AdsBot-Google' /var/log/nginx/access.log

# Найти запросы Mediapartners-Google (AdSense):
grep -i 'Mediapartners-Google' /var/log/nginx/access.log

# Найти оба агента сразу:
grep -iE 'AdsBot-Google|Mediapartners-Google' /var/log/nginx/access.log

4. Обнаружение в логах

4.1 Как выглядит запись

# AdsBot-Google (десктоп) — Nginx access.log:
66.249.79.10 - - [08/May/2026:15:30:12 +0000] \
  "GET /landing/summer-sale/ HTTP/1.1" \
  200 18432 "-" \
  "AdsBot-Google (+http://www.google.com/adsbot.html)"

# AdsBot-Google-Mobile — мобильная версия:
66.249.79.12 - - [08/May/2026:15:30:14 +0000] \
  "GET /landing/summer-sale/ HTTP/1.1" \
  200 16840 "-" \
  "Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) \
  AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 \
  Mobile/15E148 Safari/604.1 \
  (compatible; AdsBot-Google-Mobile; \
  +http://www.google.com/mobile/adsbot.html)"

# Mediapartners-Google (AdSense):
66.249.79.14 - - [08/May/2026:15:31:00 +0000] \
  "GET /blog/article/ HTTP/1.1" \
  200 24560 "-" \
  "Mediapartners-Google"

4.2 Аналитика через grep

Все запросы AdsBot:

grep -i 'AdsBot-Google' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'AdsBot-Google' access.log | wc -l

Топ проверяемых landing pages:

grep -i 'AdsBot-Google' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -30

HTTP-коды ответов (важно: не должно быть 403, 404, 5xx):

grep -i 'AdsBot-Google' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Страницы, возвращающие ошибки (критично для Quality Score):

grep -i 'AdsBot-Google' access.log \
  | awk '$9 != 200 {print $7, $9}' | sort | uniq -c | sort -nr

Разделить десктопный и мобильный AdsBot:

# Только десктоп:
grep -i 'AdsBot-Google' access.log | grep -v 'Mobile'

# Только мобильный:
grep -i 'AdsBot-Google-Mobile' access.log

Активность Mediapartners-Google (AdSense):

grep -i 'Mediapartners-Google' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -20

Live-мониторинг:

tail -f /var/log/nginx/access.log \
  | grep --line-buffered -iE 'AdsBot-Google|Mediapartners-Google'

4.3 Верификация подлинности

#!/bin/bash
# Проверка: настоящий ли AdsBot-Google?
IP=$1
HOST=$(host $IP | awk '{print $NF}')
if [[ $HOST == *googlebot.com* ]] || [[ $HOST == *google.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  [[ $FWD == $IP ]] && echo "✔ Настоящий AdsBot-Google" || echo "✖ DNS mismatch"
else
  echo "✖ Fake AdsBot-Google (нет PTR записи google.com)"
fi

⚠ AdsBot-Google резолвится не в googlebot.com, а в google.com домены — это нормально и является признаком подлинного краулера.

5. Политика Google Ads и требования к landing page

AdsBot проверяет landing pages на соответствие рекламной политике Google. Нарушения приводят к отклонению объявлений, снижению Quality Score или блокировке аккаунта.

5.1 Запрещённый контент

Страницы с перечисленным ниже контентом будут заблокированы рекламной системой:

• Поддельные товары и контрафакт
• Вредоносное ПО, вирусы, шпионское ПО
• Фишинг и мошенничество
• Нарушение авторских прав
• Запрещённые вещества (наркотики без лицензии)
• Контент для взрослых без надлежащей маркировки
• Оружие без соответствующих лицензий
• Азартные игры без лицензии

5.2 Требования к качеству landing page

5.3 Особые категории с дополнительными требованиями

6. Оптимизация landing page для высокого Quality Score

6.1 Релевантность — ключевой фактор

Контент landing page должен точно соответствовать ключевым словам и тексту объявления:

<!-- ✖ Плохо: объявление про "купить iPhone 15", landing page — главная страница магазина -->
<title>Интернет-магазин электроники</title>

<!-- ✔ Хорошо: объявление и landing page совпадают -->
<title>Купить iPhone 15 — официальный магазин, доставка за 1 день</title>
<h1>iPhone 15 — в наличии все цвета и конфигурации</h1>

Правила релевантности:

• Заголовок H1 содержит основное ключевое слово из объявления
• Title страницы соответствует заголовку объявления
• Контент страницы раскрывает обещание объявления
• CTA (призыв к действию) соответствует тому, что обещает объявление
• Нет «приманки и переключения» (bait-and-switch)

6.2 Скорость загрузки — прямое влияние на Quality Score

Google оценивает скорость загрузки landing page как компонент качества. Медленные страницы получают штраф к Quality Score:

<!-- Оптимизация изображений -->
<img src="product.webp"
     srcset="product-400.webp 400w, product-800.webp 800w"
     sizes="(max-width: 600px) 400px, 800px"
     loading="lazy"
     alt="iPhone 15 чёрный"
     width="800" height="600">

<!-- Preload критических ресурсов -->
<link rel="preload" href="hero-image.webp" as="image">
<link rel="preload" href="main.css" as="style">
<link rel="preload" href="main.js" as="script">

Целевые показатели Core Web Vitals для landing pages:

6.3 Обязательные элементы landing page

<!-- Политика конфиденциальности — обязательна -->
<footer>
  <a href="/privacy-policy/">Политика конфиденциальности</a> |
  <a href="/terms/">Условия использования</a>
</footer>

<!-- Контактные данные -->
<div class="contacts">
  <p>Телефон: <a href="tel:+74951234567">+7 (495) 123-45-67</a></p>
  <p>Email: <a href="mailto:info@example.com">info@example.com</a></p>
</div>

<!-- HTTPS — проверяйте что сертификат не истёк -->
<!-- Редирект HTTP → HTTPS в Nginx: -->

server {
    listen 80;
    server_name example.com www.example.com;
    return 301 https://$host$request_uri;
}

6.4 Мобильная адаптация

AdsBot-Google-Mobile проверяет мобильную версию отдельно. Более 60% кликов по рекламе Google приходит с мобильных устройств:

<!-- Обязательный мета-тег viewport -->
<meta name="viewport" content="width=device-width, initial-scale=1.0">

<!-- Кнопки и ссылки должны быть достаточно большими для тапа -->
<style>
  .cta-button {
    min-height: 48px;       /* минимум 48px по рекомендации Google */
    min-width: 48px;
    padding: 12px 24px;
    font-size: 18px;
  }
</style>

<!-- Не использовать interstitials (всплывающие окна), блокирующие контент -->

7. Управление Google AdsBot

7.1 robots.txt — критические правила

✖ ОПАСНО: стандартная блокировка НЕ работает для AdsBot

# ✖ Это НЕ заблокирует AdsBot-Google — он игнорирует User-agent: *:
User-agent: *
Disallow: /landing/

# ✔ Чтобы заблокировать AdsBot, нужно указать его явно:
User-agent: AdsBot-Google
Disallow: /landing/

User-agent: AdsBot-Google-Mobile
Disallow: /landing/

✖ КРИТИЧЕСКАЯ ОШИБКА — никогда не делайте это для рекламных страниц:

# Это заблокирует AdsBot и уничтожит Quality Score:
User-agent: AdsBot-Google
Disallow: /

User-agent: AdsBot-Google-Mobile
Disallow: /

✔ Правильная конфигурация robots.txt для рекламодателя:

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /cart/
Disallow: /*?sort=
Allow: /

# AdsBot должен иметь полный доступ к landing pages!
# Не добавляйте AdsBot в Disallow, если хотите показывать рекламу.

# Mediapartners-Google (AdSense) — тоже не блокировать:
# User-agent: Mediapartners-Google
# Disallow:   ← оставить пустым или не указывать вовсе

Sitemap: https://example.com/sitemap.xml

7.2 Когда блокировка AdsBot оправдана

Блокировать AdsBot имеет смысл только если вы намеренно не используете Google Ads и не хотите, чтобы Google анализировал страницы. Также можно заблокировать только Mediapartners-Google, если вы не используете AdSense:

# Если вы не используете AdSense и не хотите анализа контента:
User-agent: Mediapartners-Google
Disallow: /

# Если вы полностью отказываетесь от Google Ads:
User-agent: AdsBot-Google
Disallow: /

User-agent: AdsBot-Google-Mobile
Disallow: /

7.3 Блокировка через .htaccess (Apache)

RewriteEngine On

# Заблокировать только если вы не используете Google Ads:
RewriteCond %{HTTP_USER_AGENT} AdsBot-Google [NC]
RewriteRule .* - [F,L]

# Заблокировать Mediapartners (AdSense):
RewriteCond %{HTTP_USER_AGENT} Mediapartners-Google [NC]
RewriteRule .* - [F,L]

7.4 Блокировка через Nginx

map $http_user_agent $is_adsbot {
    default              0;
    "~*AdsBot-Google"    1;
    "~*Mediapartners-Google" 1;
}

# ВНИМАНИЕ: применяйте только если НЕ используете Google Ads/AdSense!
if ($is_adsbot) {
    return 403;
}

7.5 Разрешить доступ к конкретным страницам

# Заблокировать AdsBot везде, кроме landing pages:
User-agent: AdsBot-Google
Disallow: /
Allow: /landing/
Allow: /promo/
Allow: /sale/

User-agent: AdsBot-Google-Mobile
Disallow: /
Allow: /landing/
Allow: /promo/
Allow: /sale/

8. Mediapartners-Google и AdSense

Mediapartners-Google — отдельный краулер, связанный с Google AdSense. Его задача — анализировать содержимое страниц, на которых размещены блоки AdSense, чтобы подбирать максимально релевантную рекламу.

8.1 Отличие от AdsBot-Google

8.2 Управление Mediapartners-Google

# Разрешить Mediapartners-Google (нужно для AdSense):
User-agent: Mediapartners-Google
Disallow:

# Заблокировать конкретные страницы от анализа AdSense:
User-agent: Mediapartners-Google
Disallow: /members/
Disallow: /private/
Disallow: /checkout/

9. Диагностика проблем с Quality Score

9.1 Признаки того, что AdsBot заблокирован

• Quality Score внезапно упал до 1–3 без видимых причин
• В Google Ads появилось предупреждение «Целевая страница недоступна»
• Объявления получили статус «Ограничено» или «Отклонено»
• CPC резко вырос при том же объёме трафика
• В логах нет запросов от AdsBot-Google к рекламным страницам

9.2 Пошаговая диагностика

Шаг 1 — Проверить robots.txt:

# Проверить, не заблокирован ли AdsBot:
curl https://example.com/robots.txt | grep -i 'adsbot\|mediapartners'

# Использовать инструмент Google для проверки robots.txt:
# https://search.google.com/search-console/robots-testing-tool

Шаг 2 — Проверить доступность landing page:

# Симулировать запрос AdsBot-Google:
curl -A "AdsBot-Google (+http://www.google.com/adsbot.html)" \
  -I https://example.com/landing/

# Ожидаемый результат: HTTP/1.1 200 OK
# Проблема: 403 Forbidden, 404 Not Found, 301/302 на страницу с ошибкой

Шаг 3 — Проверить HTTPS:

# Проверить SSL-сертификат:
curl -I https://example.com/landing/

# Проверить срок действия сертификата:
echo | openssl s_client -connect example.com:443 2>/dev/null \
  | openssl x509 -noout -dates

Шаг 4 — Проверить мета-теги на landing page:

# Страница не должна иметь noindex для рекламных целей:
curl -A "AdsBot-Google" https://example.com/landing/ \
  | grep -i 'noindex\|nofollow\|x-robots'

# Если найден noindex — AdsBot не сможет нормально оценить страницу

Шаг 5 — Использовать инструменты Google Ads:

• Google Ads → Ключевые слова → столбец «Качество» → «Целевая страница»
• Google Ads → Рекомендации → проверить рекомендации по landing pages
• Google Search Console → Покрытие → проверить статус рекламных страниц
• PageSpeed Insights (pagespeed.web.dev) → проверить скорость landing page

9.3 Частые ошибки и их исправление

10. AdsBot и безопасность

10.1 Поддельные AdsBot

Как и другие Google-боты, AdsBot часто подделывается скраперами и вредоносными краулерами. Проверка подлинности:

#!/bin/bash
# Верификация AdsBot-Google через DNS:
IP=$1
HOST=$(host $IP | awk '{print $NF}')

# AdsBot резолвится в google.com домены (не googlebot.com):
if [[ $HOST == *google.com* ]] || [[ $HOST == *googlebot.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  if [[ $FWD == $IP ]]; then
    echo "✔ Настоящий AdsBot-Google: $IP → $HOST"
  else
    echo "✖ Fake AdsBot (DNS mismatch): $IP"
  fi
else
  echo "✖ Fake AdsBot (нет PTR записи google.com): $IP"
fi

10.2 Защита от поддельных AdsBot

# Nginx — блокировать поддельный AdsBot по IP, но разрешить Google-диапазоны:
# Проверять IP через список: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json

# Cloudflare — Verified Bots правило:
# Security → WAF → Tools → добавить правило для AdsBot-Google
# Условие: (cf.client.bot) AND (http.user_agent contains "AdsBot-Google")
# Действие: Allow

11. AdsBot vs другие рекламные краулеры

12. Рекомендуемая стратегия

✔ Главный принцип: AdsBot — это ваш союзник. Он оценивает качество ваших рекламных страниц. Заблокировать его = платить больше за рекламу или потерять показы вообще. Открывайте доступ, оптимизируйте страницы, снижайте CPC.