TrafficVeil
Боты 15 мин25 июня 2026 г.

Google AdsBot

Google AdsBot — это специализированный краулер Google, предназначенный исключительно для проверки качества рекламных посадочных страниц (landing pages) в системах Google Ads (ранее Google AdWords) и Google AdSense. В отличие от Googlebot, который индексирует контент для поиска, AdsBot не влияет на поисковый рейтинг страниц — его единственная задача это оценить соответствие landing page требованиям рекламной политики Google и определить показатель качества (Quality Score) рекламного объявления.

TV
TrafficVeil Team
Эксперты по защите веб-трафика
Содержание статьи
  1. 1. Что такое Google AdsBot
  2. 1.1 User-Agent строки
  3. 1.2 Виды AdsBot и их назначение
  4. 1.3 Место в экосистеме Google-ботов
  5. 1.4 Ключевое отличие от Googlebot
  6. 1.5 IP-адреса
  7. 2. Как работает Google AdsBot
  8. 2.1 Этапы работы
  9. 2.2 Что AdsBot анализирует
  10. 2.3 Quality Score — как AdsBot влияет на стоимость рекламы
  11. 2.4 Частота обходов
  12. 3. Нагрузка на сервер
  13. 3.1 Типичная нагрузка
  14. 3.2 Когда нагрузка резко возрастает
  15. 3.3 Признаки активности AdsBot в логах
  16. 4. Обнаружение в логах
  17. 4.1 Как выглядит запись
  18. 4.2 Аналитика через grep
DDoS L7

DDoS атака что это простыми словами и как защитить сайт

Разобрали виды атак, признаки DDoS, последствия, уровни защиты, L7 DDoS и схему подключения TrafficVeil через DNS/reverse proxy.

Читать про DDoS

Энциклопедия ботов TrafficVeil

618 ботов с описаниями, паттернами User-Agent и фильтром по категориям — открытый справочник для аудита логов и настройки защиты.

Открыть справочник

Понимание работы AdsBot критически важно для всех, кто использует Google Ads: от ошибок в robots.txt, блокирующих этого бота, напрямую зависит показатель качества рекламы, стоимость клика (CPC) и возможность показа объявлений вообще.

1. Что такое Google AdsBot

1.1 User-Agent строки

AdsBot существует в двух версиях — для мобильных и десктопных страниц:

# AdsBot для десктопных страниц (Google Ads):
AdsBot-Google (+http://www.google.com/adsbot.html)

# AdsBot для мобильных страниц (Google Ads Mobile):
AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X)
AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2
Mobile/15E148 Safari/604.1
(compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

# AdsBot для AdSense:
Mediapartners-Google

1.2 Виды AdsBot и их назначение

User-Agent Назначение Что проверяет
AdsBot-Google Google Ads (десктоп) Quality Score, релевантность landing page
AdsBot-Google-Mobile Google Ads (мобильные) Мобильная версия landing page, скорость загрузки
Mediapartners-Google Google AdSense Контент страницы для подбора релевантной рекламы
AdsBot-Google-Mobile-Apps Google Ads для приложений Deep links, App Store / Play Market страницы

1.3 Место в экосистеме Google-ботов

Краулер Цель Влияет на SEO? Влияет на рекламу?
Googlebot Поисковый индекс ✔ Да ✖ Нет
AdsBot-Google Quality Score рекламы ✖ Нет ✔ Да, критически
Mediapartners-Google Контекст для AdSense ✖ Нет ✔ Да (AdSense)
Googlebot-Image Google Images ✔ Да ✖ Нет
Googlebot-News Google News ✔ Да ✖ Нет

1.4 Ключевое отличие от Googlebot

⚠ Критически важно: AdsBot-Google по умолчанию не подчиняется директиве User-agent: * в robots.txt. Чтобы заблокировать его, необходимо указать его User-Agent явно. Это означает, что стандартная запись User-agent: * / Disallow: /landing/ не остановит AdsBot — он всё равно зайдёт на страницу.

1.5 IP-адреса

AdsBot использует те же IP-диапазоны Google (AS15169), что и Googlebot. Актуальный список:

https://developers.google.com/search/apis/ipranges/googlebot.json

# Дополнительный список IP для Google Special Crawlers (включает AdsBot):
https://developers.google.com/static/search/apis/ipranges/special-crawlers.json

2. Как работает Google AdsBot

2.1 Этапы работы

  1. Рекламодатель создаёт объявление в Google Ads и указывает URL landing page.
  2. AdsBot-Google получает задание проверить указанную страницу.
  3. Краулер скачивает landing page (HTML, CSS, JS) и анализирует её содержимое.
  4. Проверяется соответствие политике Google Ads: контент, навигация, прозрачность.
  5. Оценивается релевантность страницы ключевым словам объявления.
  6. Анализируется пользовательский опыт: скорость загрузки, мобильная адаптация, навигация.
  7. Формируется компонент Quality Score (показатель качества целевой страницы).
  8. Результат влияет на CPC, позицию объявления и право на показ.

2.2 Что AdsBot анализирует

Элемент Что проверяется Важность
Контент страницы Релевантность ключевым словам объявления ⭐⭐⭐⭐⭐ Критически важно
Соответствие политике Запрещённый контент, обман, фишинг ⭐⭐⭐⭐⭐ Критически важно
Скорость загрузки Время загрузки страницы (влияет на Quality Score) ⭐⭐⭐⭐⭐ Критически важно
Мобильная адаптация Responsive design, удобство на мобильных ⭐⭐⭐⭐⭐ Критически важно
Навигация Возможность покинуть страницу, ссылки работают ⭐⭐⭐⭐ Очень важно
Прозрачность Контактные данные, политика конфиденциальности ⭐⭐⭐⭐ Очень важно
Уникальность контента Оригинальный ли контент на странице ⭐⭐⭐ Важно
Заголовок страницы Соответствие тексту объявления ⭐⭐⭐ Важно
Безопасность (HTTPS) Наличие SSL-сертификата ⭐⭐⭐⭐ Очень важно
Доступность страницы Нет 404, нет редиректных петель, нет блокировки ⭐⭐⭐⭐⭐ Критически важно

2.3 Quality Score — как AdsBot влияет на стоимость рекламы

Quality Score (показатель качества) — оценка от 1 до 10, которую Google присваивает каждому ключевому слову в рекламном аккаунте. Он состоит из трёх компонентов:

Компонент Вес Как AdsBot влияет
Ожидаемый CTR (Click-Through Rate) ~40% Косвенно — через анализ релевантности
Релевантность объявления ~30% Косвенно
Качество целевой страницы ~30% Напрямую — AdsBot сканирует страницу

Влияние Quality Score на стоимость клика:

Quality Score Изменение CPC Влияние на позицию
10 (отлично) −50% от базовой ставки Значительное преимущество
7–9 (хорошо) −20% до −40% Хорошая позиция
5–6 (среднее) Базовая ставка Средняя позиция
3–4 (плохо) +25% до +50% Низкая позиция
1–2 (очень плохо) +100% и выше Объявление может не показываться

Вывод: блокировка AdsBot-Google в robots.txt = Quality Score падает до минимума = стоимость клика удваивается или объявления перестают показываться.

2.4 Частота обходов

AdsBot проверяет landing pages значительно реже, чем Googlebot обходит обычные страницы:

  • Новое объявление — проверка в течение нескольких часов после создания
  • Существующие объявления — повторная проверка примерно раз в 2–4 недели
  • При изменении landing page — внеплановая проверка в ближайшие дни
  • При нарушении политики — учащённые проверки

3. Нагрузка на сервер

По сравнению с Googlebot, AdsBot создаёт значительно меньшую нагрузку: он проверяет только те страницы, которые указаны как landing pages в активных рекламных кампаниях, и делает это относительно редко.

3.1 Типичная нагрузка

Тип рекламодателя Количество landing pages Нагрузка от AdsBot
Малый бизнес 1–5 страниц Незаметная, несколько запросов в месяц
Средний бизнес 10–100 страниц Очень низкая
Крупный рекламодатель Сотни страниц Низкая, но регулярная
E-commerce (тысячи SKU) Тысячи товарных страниц Умеренная при первичном сканировании
Агентство (много клиентов) Тысячи landing pages Ощутимая в пиковые периоды

3.2 Когда нагрузка резко возрастает

  • Запуск новой масштабной кампании — AdsBot проверяет все новые landing pages одновременно
  • Массовое изменение URL объявлений — переписка всех ссылок провоцирует повторный обход
  • После устранения нарушений политики — Google проверяет исправленные страницы
  • При A/B тестировании — каждый вариант страницы проверяется отдельно

3.3 Признаки активности AdsBot в логах

# Найти запросы AdsBot в access.log:
grep -i 'AdsBot-Google' /var/log/nginx/access.log

# Найти запросы Mediapartners-Google (AdSense):
grep -i 'Mediapartners-Google' /var/log/nginx/access.log

# Найти оба агента сразу:
grep -iE 'AdsBot-Google|Mediapartners-Google' /var/log/nginx/access.log

4. Обнаружение в логах

4.1 Как выглядит запись

# AdsBot-Google (десктоп) — Nginx access.log:
66.249.79.10 - - [08/May/2026:15:30:12 +0000] \
  "GET /landing/summer-sale/ HTTP/1.1" \
  200 18432 "-" \
  "AdsBot-Google (+http://www.google.com/adsbot.html)"

# AdsBot-Google-Mobile — мобильная версия:
66.249.79.12 - - [08/May/2026:15:30:14 +0000] \
  "GET /landing/summer-sale/ HTTP/1.1" \
  200 16840 "-" \
  "Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) \
  AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 \
  Mobile/15E148 Safari/604.1 \
  (compatible; AdsBot-Google-Mobile; \
  +http://www.google.com/mobile/adsbot.html)"

# Mediapartners-Google (AdSense):
66.249.79.14 - - [08/May/2026:15:31:00 +0000] \
  "GET /blog/article/ HTTP/1.1" \
  200 24560 "-" \
  "Mediapartners-Google"

4.2 Аналитика через grep

Все запросы AdsBot:

grep -i 'AdsBot-Google' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'AdsBot-Google' access.log | wc -l

Топ проверяемых landing pages:

grep -i 'AdsBot-Google' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -30

HTTP-коды ответов (важно: не должно быть 403, 404, 5xx):

grep -i 'AdsBot-Google' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Страницы, возвращающие ошибки (критично для Quality Score):

grep -i 'AdsBot-Google' access.log \
  | awk '$9 != 200 {print $7, $9}' | sort | uniq -c | sort -nr

Разделить десктопный и мобильный AdsBot:

# Только десктоп:
grep -i 'AdsBot-Google' access.log | grep -v 'Mobile'

# Только мобильный:
grep -i 'AdsBot-Google-Mobile' access.log

Активность Mediapartners-Google (AdSense):

grep -i 'Mediapartners-Google' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -20

Live-мониторинг:

tail -f /var/log/nginx/access.log \
  | grep --line-buffered -iE 'AdsBot-Google|Mediapartners-Google'

4.3 Верификация подлинности

#!/bin/bash
# Проверка: настоящий ли AdsBot-Google?
IP=$1
HOST=$(host $IP | awk '{print $NF}')
if [[ $HOST == *googlebot.com* ]] || [[ $HOST == *google.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  [[ $FWD == $IP ]] && echo "✔ Настоящий AdsBot-Google" || echo "✖ DNS mismatch"
else
  echo "✖ Fake AdsBot-Google (нет PTR записи google.com)"
fi

AdsBot-Google резолвится не в googlebot.com, а в google.com домены — это нормально и является признаком подлинного краулера.

5. Политика Google Ads и требования к landing page

AdsBot проверяет landing pages на соответствие рекламной политике Google. Нарушения приводят к отклонению объявлений, снижению Quality Score или блокировке аккаунта.

5.1 Запрещённый контент

Страницы с перечисленным ниже контентом будут заблокированы рекламной системой:

  • Поддельные товары и контрафакт
  • Вредоносное ПО, вирусы, шпионское ПО
  • Фишинг и мошенничество
  • Нарушение авторских прав
  • Запрещённые вещества (наркотики без лицензии)
  • Контент для взрослых без надлежащей маркировки
  • Оружие без соответствующих лицензий
  • Азартные игры без лицензии

5.2 Требования к качеству landing page

Требование Что нужно Последствие нарушения
Прозрачность Чёткое указание, кто вы и что предлагаете Снижение Quality Score
Политика конфиденциальности Ссылка на Privacy Policy на странице Отклонение объявления
Контактные данные Телефон, email или форма обратной связи Снижение доверия, низкий QS
Навигация Пользователь может покинуть страницу Отклонение (ловушка для пользователей)
Соответствие объявлению Страница соответствует тексту объявления Низкий Quality Score
HTTPS SSL-сертификат обязателен Отклонение объявления
Скорость загрузки Быстрая загрузка, особенно на мобильных Снижение Quality Score
Доступность Страница доступна для AdsBot Объявление не показывается

5.3 Особые категории с дополнительными требованиями

Категория Дополнительные требования
Финансовые услуги Раскрытие информации о рисках, лицензии
Медицина и фармацевтика Сертификация, запрет рецептурных препаратов без рецепта
Азартные игры Лицензия, геотаргетинг, маркировка 18+
Алкоголь Возрастное ограничение, соответствие местным законам
Политическая реклама Раскрытие спонсора, верификация в Google
Кредитование APR, условия займа, предупреждения о рисках

6. Оптимизация landing page для высокого Quality Score

6.1 Релевантность — ключевой фактор

Контент landing page должен точно соответствовать ключевым словам и тексту объявления:

<!-- ✖ Плохо: объявление про "купить iPhone 15", landing page — главная страница магазина -->
<title>Интернет-магазин электроники</title>

<!-- ✔ Хорошо: объявление и landing page совпадают -->
<title>Купить iPhone 15 — официальный магазин, доставка за 1 день</title>
<h1>iPhone 15 — в наличии все цвета и конфигурации</h1>

Правила релевантности:

  • Заголовок H1 содержит основное ключевое слово из объявления
  • Title страницы соответствует заголовку объявления
  • Контент страницы раскрывает обещание объявления
  • CTA (призыв к действию) соответствует тому, что обещает объявление
  • Нет «приманки и переключения» (bait-and-switch)

6.2 Скорость загрузки — прямое влияние на Quality Score

Google оценивает скорость загрузки landing page как компонент качества. Медленные страницы получают штраф к Quality Score:

<!-- Оптимизация изображений -->
<img src="product.webp"
     srcset="product-400.webp 400w, product-800.webp 800w"
     sizes="(max-width: 600px) 400px, 800px"
     loading="lazy"
     alt="iPhone 15 чёрный"
     width="800" height="600">

<!-- Preload критических ресурсов -->
<link rel="preload" href="hero-image.webp" as="image">
<link rel="preload" href="main.css" as="style">
<link rel="preload" href="main.js" as="script">

Целевые показатели Core Web Vitals для landing pages:

Метрика Хорошо Нужно улучшить Плохо
LCP (загрузка главного контента) < 2.5 сек 2.5 — 4 сек > 4 сек
INP (отклик на взаимодействие) < 200 мс 200 — 500 мс > 500 мс
CLS (визуальная стабильность) < 0.1 0.1 — 0.25 > 0.25

6.3 Обязательные элементы landing page

<!-- Политика конфиденциальности — обязательна -->
<footer>
  <a href="/privacy-policy/">Политика конфиденциальности</a> |
  <a href="/terms/">Условия использования</a>
</footer>

<!-- Контактные данные -->
<div class="contacts">
  <p>Телефон: <a href="tel:+74951234567">+7 (495) 123-45-67</a></p>
  <p>Email: <a href="mailto:info@example.com">info@example.com</a></p>
</div>

<!-- HTTPS — проверяйте что сертификат не истёк -->
<!-- Редирект HTTP → HTTPS в Nginx: -->
server {
    listen 80;
    server_name example.com www.example.com;
    return 301 https://$host$request_uri;
}

6.4 Мобильная адаптация

AdsBot-Google-Mobile проверяет мобильную версию отдельно. Более 60% кликов по рекламе Google приходит с мобильных устройств:

<!-- Обязательный мета-тег viewport -->
<meta name="viewport" content="width=device-width, initial-scale=1.0">

<!-- Кнопки и ссылки должны быть достаточно большими для тапа -->
<style>
  .cta-button {
    min-height: 48px;       /* минимум 48px по рекомендации Google */
    min-width: 48px;
    padding: 12px 24px;
    font-size: 18px;
  }
</style>

<!-- Не использовать interstitials (всплывающие окна), блокирующие контент -->

7. Управление Google AdsBot

7.1 robots.txt — критические правила

✖ ОПАСНО: стандартная блокировка НЕ работает для AdsBot

# ✖ Это НЕ заблокирует AdsBot-Google — он игнорирует User-agent: *:
User-agent: *
Disallow: /landing/

# ✔ Чтобы заблокировать AdsBot, нужно указать его явно:
User-agent: AdsBot-Google
Disallow: /landing/

User-agent: AdsBot-Google-Mobile
Disallow: /landing/

✖ КРИТИЧЕСКАЯ ОШИБКА — никогда не делайте это для рекламных страниц:

# Это заблокирует AdsBot и уничтожит Quality Score:
User-agent: AdsBot-Google
Disallow: /

User-agent: AdsBot-Google-Mobile
Disallow: /

✔ Правильная конфигурация robots.txt для рекламодателя:

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /cart/
Disallow: /*?sort=
Allow: /

# AdsBot должен иметь полный доступ к landing pages!
# Не добавляйте AdsBot в Disallow, если хотите показывать рекламу.

# Mediapartners-Google (AdSense) — тоже не блокировать:
# User-agent: Mediapartners-Google
# Disallow:   ← оставить пустым или не указывать вовсе

Sitemap: https://example.com/sitemap.xml

7.2 Когда блокировка AdsBot оправдана

Блокировать AdsBot имеет смысл только если вы намеренно не используете Google Ads и не хотите, чтобы Google анализировал страницы. Также можно заблокировать только Mediapartners-Google, если вы не используете AdSense:

# Если вы не используете AdSense и не хотите анализа контента:
User-agent: Mediapartners-Google
Disallow: /

# Если вы полностью отказываетесь от Google Ads:
User-agent: AdsBot-Google
Disallow: /

User-agent: AdsBot-Google-Mobile
Disallow: /

7.3 Блокировка через .htaccess (Apache)

RewriteEngine On

# Заблокировать только если вы не используете Google Ads:
RewriteCond %{HTTP_USER_AGENT} AdsBot-Google [NC]
RewriteRule .* - [F,L]

# Заблокировать Mediapartners (AdSense):
RewriteCond %{HTTP_USER_AGENT} Mediapartners-Google [NC]
RewriteRule .* - [F,L]

7.4 Блокировка через Nginx

map $http_user_agent $is_adsbot {
    default              0;
    "~*AdsBot-Google"    1;
    "~*Mediapartners-Google" 1;
}

# ВНИМАНИЕ: применяйте только если НЕ используете Google Ads/AdSense!
if ($is_adsbot) {
    return 403;
}

7.5 Разрешить доступ к конкретным страницам

# Заблокировать AdsBot везде, кроме landing pages:
User-agent: AdsBot-Google
Disallow: /
Allow: /landing/
Allow: /promo/
Allow: /sale/

User-agent: AdsBot-Google-Mobile
Disallow: /
Allow: /landing/
Allow: /promo/
Allow: /sale/

8. Mediapartners-Google и AdSense

Mediapartners-Google — отдельный краулер, связанный с Google AdSense. Его задача — анализировать содержимое страниц, на которых размещены блоки AdSense, чтобы подбирать максимально релевантную рекламу.

8.1 Отличие от AdsBot-Google

Аспект AdsBot-Google Mediapartners-Google
Связан с Google Ads (рекламодатели) Google AdSense (издатели)
Цель Оценка качества landing page Подбор релевантной рекламы
Проверяет Страницы назначения объявлений Страницы с блоками AdSense
Частота Раз в 2–4 недели Регулярно, зависит от обновлений контента
Блокировка robots.txt Только явным указанием User-Agent Аналогично

8.2 Управление Mediapartners-Google

# Разрешить Mediapartners-Google (нужно для AdSense):
User-agent: Mediapartners-Google
Disallow:

# Заблокировать конкретные страницы от анализа AdSense:
User-agent: Mediapartners-Google
Disallow: /members/
Disallow: /private/
Disallow: /checkout/

9. Диагностика проблем с Quality Score

9.1 Признаки того, что AdsBot заблокирован

  • Quality Score внезапно упал до 1–3 без видимых причин
  • В Google Ads появилось предупреждение «Целевая страница недоступна»
  • Объявления получили статус «Ограничено» или «Отклонено»
  • CPC резко вырос при том же объёме трафика
  • В логах нет запросов от AdsBot-Google к рекламным страницам

9.2 Пошаговая диагностика

Шаг 1 — Проверить robots.txt:

# Проверить, не заблокирован ли AdsBot:
curl https://example.com/robots.txt | grep -i 'adsbot\|mediapartners'

# Использовать инструмент Google для проверки robots.txt:
# https://search.google.com/search-console/robots-testing-tool

Шаг 2 — Проверить доступность landing page:

# Симулировать запрос AdsBot-Google:
curl -A "AdsBot-Google (+http://www.google.com/adsbot.html)" \
  -I https://example.com/landing/

# Ожидаемый результат: HTTP/1.1 200 OK
# Проблема: 403 Forbidden, 404 Not Found, 301/302 на страницу с ошибкой

Шаг 3 — Проверить HTTPS:

# Проверить SSL-сертификат:
curl -I https://example.com/landing/

# Проверить срок действия сертификата:
echo | openssl s_client -connect example.com:443 2>/dev/null \
  | openssl x509 -noout -dates

Шаг 4 — Проверить мета-теги на landing page:

# Страница не должна иметь noindex для рекламных целей:
curl -A "AdsBot-Google" https://example.com/landing/ \
  | grep -i 'noindex\|nofollow\|x-robots'

# Если найден noindex — AdsBot не сможет нормально оценить страницу

Шаг 5 — Использовать инструменты Google Ads:

  • Google Ads → Ключевые слова → столбец «Качество» → «Целевая страница»
  • Google Ads → Рекомендации → проверить рекомендации по landing pages
  • Google Search Console → Покрытие → проверить статус рекламных страниц
  • PageSpeed Insights (pagespeed.web.dev) → проверить скорость landing page

9.3 Частые ошибки и их исправление

Проблема Причина Решение
QS = 1, объявление не показывается AdsBot заблокирован в robots.txt Убрать AdsBot из Disallow
«Целевая страница недоступна» Страница возвращает 403/404/5xx Исправить HTTP-код, убрать блокировку по IP
Низкий QS при хорошем контенте Медленная загрузка страницы Оптимизировать Core Web Vitals
Объявление отклонено Нет Privacy Policy на странице Добавить ссылку на политику конфиденциальности
QS хорош на десктопе, плох на мобильных Плохая мобильная адаптация Оптимизировать мобильную версию
CPC постепенно растёт Контент landing page устарел и стал нерелевантным Обновить контент под текущие ключевые слова

10. AdsBot и безопасность

10.1 Поддельные AdsBot

Как и другие Google-боты, AdsBot часто подделывается скраперами и вредоносными краулерами. Проверка подлинности:

#!/bin/bash
# Верификация AdsBot-Google через DNS:
IP=$1
HOST=$(host $IP | awk '{print $NF}')

# AdsBot резолвится в google.com домены (не googlebot.com):
if [[ $HOST == *google.com* ]] || [[ $HOST == *googlebot.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  if [[ $FWD == $IP ]]; then
    echo "✔ Настоящий AdsBot-Google: $IP → $HOST"
  else
    echo "✖ Fake AdsBot (DNS mismatch): $IP"
  fi
else
  echo "✖ Fake AdsBot (нет PTR записи google.com): $IP"
fi

10.2 Защита от поддельных AdsBot

# Nginx — блокировать поддельный AdsBot по IP, но разрешить Google-диапазоны:
# Проверять IP через список: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json

# Cloudflare — Verified Bots правило:
# Security → WAF → Tools → добавить правило для AdsBot-Google
# Условие: (cf.client.bot) AND (http.user_agent contains "AdsBot-Google")
# Действие: Allow

11. AdsBot vs другие рекламные краулеры

Краулер Платформа User-Agent Назначение
AdsBot-Google Google Ads AdsBot-Google Quality Score landing pages
AdsBot-Google-Mobile Google Ads (mobile) AdsBot-Google-Mobile Mobile Quality Score
Mediapartners-Google Google AdSense Mediapartners-Google Подбор рекламы AdSense
bingbot Microsoft Advertising bingbot/2.0 Индексация + реклама Bing
AdIdxBot Microsoft Ads adidxbot/2.0 Аналог AdsBot для Bing Ads
Yandex Ads Crawler Яндекс.Директ YandexDirect Проверка страниц для Директа
FacebookBot Meta Ads FacebookBot Проверка landing pages Meta

12. Рекомендуемая стратегия

✔ Главный принцип: AdsBot — это ваш союзник. Он оценивает качество ваших рекламных страниц. Заблокировать его = платить больше за рекламу или потерять показы вообще. Открывайте доступ, оптимизируйте страницы, снижайте CPC.

Задача Решение
Убедиться что AdsBot имеет доступ Проверить robots.txt, HTTP-коды, отсутствие IP-блокировок
Повысить Quality Score Релевантный контент + скорость + мобильная адаптация
Снизить CPC Quality Score 7+ снижает ставку на 20–40%
Исправить заблокированный AdsBot Убрать из robots.txt, проверить .htaccess / nginx
Добавить Privacy Policy Ссылка в footer каждой landing page
Оптимизировать мобильную версию Responsive design + LCP < 2.5 сек + кнопки 48px
Заблокировать только ненужных ботов Mediapartners-Google — только если не используете AdSense
Диагностировать падение QS curl с UA AdsBot-Google + проверка HTTP-кода + robots.txt
Верифицировать подлинность бота DNS lookup: IP → google.com домен (не googlebot.com)
Защититься от поддельных AdsBot IP-верификация по списку special-crawlers.json + Cloudflare WAF

 

Другие гайды по ботам

Частые вопросы

Чем AdsBot-Google отличается от основного Googlebot?

Основной Googlebot индексирует страницы для поискового рейтинга и влияет на SEO. AdsBot-Google не имеет никакого отношения к SEO — он проверяет исключительно landing pages рекламных объявлений и формирует компонент Quality Score «качество целевой страницы». Кроме того, AdsBot игнорирует общую директиву User-agent: * в robots.txt и требует явного указания своего User-Agent для блокировки.

Что произойдёт, если заблокировать AdsBot-Google?

Google не сможет оценить качество landing page. Quality Score упадёт до минимального (1–3). Это повлечёт: рост CPC на 50–100% и выше; снижение позиций объявлений; в отдельных случаях — полную остановку показа объявлений. Блокировать AdsBot при активных кампаниях Google Ads — одна из самых дорогостоящих ошибок в контекстной рекламе.

Почему запись User-agent: * / Disallow: / не блокирует AdsBot?

AdsBot-Google специально разработан так, чтобы не следовать директиве User-agent: *. Google объясняет это тем, что рекламодатели должны явно указывать, что не хотят, чтобы AdsBot посещал их страницы, во избежание случайной блокировки. Для блокировки необходима явная запись: User-agent: AdsBot-Google и User-agent: AdsBot-Google-Mobile.

Как быстро AdsBot проверяет новую landing page?

Обычно в течение нескольких часов после создания нового объявления. При изменении существующей landing page повторная проверка происходит в течение нескольких дней. Плановые проверки существующих страниц — примерно раз в 2–4 недели. Ускорить проверку можно через инструмент «Проверка URL» в Google Search Console или запросив повторную проверку объявления в Google Ads.

В чём разница между AdsBot-Google и Mediapartners-Google?

AdsBot-Google работает на стороне рекламодателей (Google Ads) — проверяет качество landing pages и формирует Quality Score. Mediapartners-Google работает на стороне издателей (Google AdSense) — анализирует контент страниц с рекламными блоками, чтобы подобрать максимально релевантную рекламу. Оба бота нужно явно блокировать в robots.txt — они не следуют директиве User-agent: *.

Влияет ли AdsBot на SEO и органический поиск?

Нет. AdsBot-Google полностью отделён от поискового индекса. Его визиты не влияют на позиции страниц в органической выдаче, PageRank или любые другие SEO-метрики. Обратное тоже верно: хорошие SEO-показатели страницы не улучшают Quality Score в Google Ads автоматически.

Как проверить, что AdsBot имеет доступ к моим landing pages?

Несколько способов: используйте инструмент проверки robots.txt в Google Search Console и введите URL AdsBot-Google; выполните запрос curl -A "AdsBot-Google (+http://www.google.com/adsbot.html)" -I https://yoursite.com/landing/ — ответ должен быть 200; проверьте логи сервера на наличие запросов от AdsBot; в Google Ads в статусе ключевого слова проверьте оценку «Целевая страница».

Нужно ли оптимизировать landing page отдельно для мобильного AdsBot?

Да. AdsBot-Google-Mobile проверяет мобильную версию страницы отдельно и может выставить иной Quality Score, чем для десктопа. Учитывая, что более 60% кликов по рекламе приходит с мобильных, мобильный Quality Score имеет особое значение. Убедитесь что страница корректно отображается на мобильных, загружается быстро (LCP < 2.5 сек) и все кнопки легко нажимаются (min 48×48px).

Может ли AdsBot заблокировать мою рекламу?

AdsBot сам по себе не блокирует рекламу — он лишь передаёт данные о качестве страницы в систему Google Ads. Но если AdsBot обнаружит нарушения политики (фишинг, запрещённый контент, вредоносное ПО), система Google Ads заблокирует объявление или аккаунт. Также если страница недоступна для AdsBot (403, 404, блокировка в robots.txt) — объявление может получить статус «ограничено» или перестать показываться.

Как часто нужно обновлять landing page для хорошего Quality Score?

Quality Score — это динамическая оценка, которая пересчитывается регулярно. Страницы не требуют постоянного обновления, но должны оставаться актуальными и соответствовать ключевым словам кампании. Если вы меняете оффер в объявлении — обязательно обновите landing page. Регулярно проверяйте скорость загрузки через PageSpeed Insights, особенно после добавления новых элементов (виджетов, скриптов, изображений).

TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак.

Похожие статьи

Claude Search Bot

Claude-SearchBot — краулер Anthropic, отвечающий за качество и релевантность поисковых функций Claude. Он индексирует публичный веб-контент, чтобы Claude мог возвращать актуальные, точные ответы с цитированием источников, когда пользователь задаёт вопрос, требующий свежих данных из интернета. Это не обучающий краулер: собранные данные используются исключительно для поискового слоя Claude, а не для тренировки моделей.

3 мин

Claude User

Claude-User — агент Anthropic, который срабатывает не по расписанию, а по прямому действию пользователя. Когда человек в Claude просит прочитать конкретную страницу, вставляет ссылку в диалог или задаёт вопрос, требующий обращения к конкретному URL, именно Claude-User выполняет этот запрос в моменте. Это не плановый краулер, а реактивный агент, чьё появление в логах коррелирует с объёмом пользовательских запросов, а не с расписанием индексации.

5 мин

ClaudeBot

ClaudeBot — основной краулер Anthropic, который собирает публично доступный веб-контент для обучения и улучшения генеративных моделей семейства Claude. Это самый узнаваемый и старый из трёх официально задокументированных ботов Anthropic, находящийся в центре большей части публичной дискуссии об AI-краулерах — в том числе из-за нашумевших данных Cloudflare о крайне высоком соотношении «сканирование / переходы по ссылкам» у AI-краулеров в целом.

5 мин

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.