Что произойдёт, если заблокировать Mediapartners-Google?

Google не сможет определить тему страниц и подобрать релевантную рекламу. Вместо целевых объявлений с высоким CPC на сайте появится PSA (публичная социальная реклама) — она не оплачивается рекламодателями или приносит минимальный доход. По факту это означает нулевую или близкую к нулю монетизацию через AdSense при работающем аккаунте.

Как часто Mediapartners-Google посещает мой сайт?

Зависит от активности сайта и трафика. Страницы с высоким трафиком и частыми обновлениями обходятся несколько раз в неделю. Новые страницы с кодом AdSense — в течение нескольких часов после публикации. Неактивные страницы — раз в 2–4 недели. Общее правило: чем активнее сайт и чем больше трафика, тем чаще бот обновляет профиль страниц.

Влияет ли Mediapartners-Google на SEO-позиции?

Нет, напрямую не влияет. Mediapartners-Google работает полностью отдельно от поискового индекса. Однако косвенная связь есть: если сайт хорошо оптимизирован для Mediapartners (чёткий тематический контент, правильная структура заголовков), эти же факторы положительно влияют на SEO. Это не причинно-следственная связь от Mediapartners, а следствие общего качества контента.

Можно ли разрешить Mediapartners-Google только на определённых страницах?

Да. В robots.txt можно закрыть весь сайт для Mediapartners-Google, но явно разрешить нужные разделы: User-agent: Mediapartners-Google / Disallow: / / Allow: /blog/ / Allow: /articles/. Также можно использовать мета-тег на конкретных страницах, которые не должны анализироваться.

Что такое кликфрод и почему это критично для AdSense?

Кликфрод — искусственное накручивание кликов по рекламным объявлениям (самостоятельно, через ботов или сговор с другими пользователями). Google строго отслеживает подозрительную активность кликов через системы обнаружения мошенничества. За кликфрод аккаунт AdSense блокируется немедленно и навсегда, с удержанием незаконно полученного дохода. Никогда не кликайте по собственным объявлениям и не просите других этого делать.

Mediapartners-Google (Google AdSense) бот

Понимание работы Mediapartners-Google критически важно для всех, кто монетизирует сайт через Google AdSense: блогеров, владельцев информационных порталов, новостных изданий, форумов и любых других веб-ресурсов с рекламными блоками Google.

1. Что такое Mediapartners-Google

1.1 User-Agent строка

Mediapartners-Google

# Иногда встречается расширенная версия:
Mediapartners-Google/2.1

# Мобильная версия:
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X)
AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2
Mobile/15E148 Safari/604.1 (compatible; Mediapartners-Google/2.1)

User-Agent	Назначение	Платформа
`Mediapartners-Google`	Основной краулер AdSense — анализ контента страниц	Google AdSense
`AdsBot-Google`	Проверка качества landing pages рекламодателей	Google Ads
`Google-AdSense-Google`	Редкий вариант, используется при отдельных проверках	Google AdSense

1.3 Место в экосистеме Google-ботов

Краулер	Цель	Влияет на SEO?	Влияет на доход AdSense?
Googlebot	Поисковый индекс	✔ Да	Косвенно (трафик)
Mediapartners-Google	Подбор рекламы AdSense	✖ Нет	✔ Да, напрямую
AdsBot-Google	Quality Score рекламодателя	✖ Нет	✖ Нет
Storebot-Google	Товарные листинги Shopping	✖ Нет	✖ Нет
APIs-Google	Технические проверки	Косвенно	✖ Нет

1.4 Ключевые отличия от Googlebot

Не индексирует для поиска — визиты Mediapartners-Google не влияют на позиции в органической выдаче
Коммерческая цель — анализирует контент исключительно для подбора рекламы
Не следует директиве User-agent: * — требует явного указания в robots.txt для блокировки
Посещает только страницы с AdSense — концентрируется на страницах, где установлен код AdSense
Работает постоянно — регулярно перепроверяет страницы при изменении контента

1.5 IP-адреса

# Использует те же IP-диапазоны Google (AS15169):
https://developers.google.com/search/apis/ipranges/googlebot.json

# Специальные краулеры (включает Mediapartners):
https://developers.google.com/static/search/apis/ipranges/special-crawlers.json

⚠ Mediapartners-Google часто подделывается скраперами. Единственная надёжная верификация — двухэтапный DNS lookup на googlebot.com или google.com домены.

2. Как работает Mediapartners-Google

2.1 Этапы работы

Издатель устанавливает код AdSense на страницы сайта.
Mediapartners-Google обходит страницы с рекламными блоками.
Анализируется текстовый контент: заголовки, основной текст, ключевые слова, тематика.
Страница получает тематические метки (категории, ключевые слова).
При загрузке страницы пользователем система AdSense использует эти метки для аукциона рекламы.
Побеждают объявления наиболее релевантные теме страницы.
Издатель получает доход пропорционально ставке победителя аукциона.

2.2 Что Mediapartners-Google анализирует

Элемент	Что извлекается	Важность для монетизации
Заголовок страницы (`<title>`)	Основная тема, ключевые слова	⭐⭐⭐⭐⭐ Критически важно
H1 и подзаголовки	Структура темы, ключевые термины	⭐⭐⭐⭐⭐ Критически важно
Основной текст страницы	Тематика, контекст, семантика	⭐⭐⭐⭐⭐ Критически важно
Мета-описание	Краткое резюме темы	⭐⭐⭐⭐ Очень важно
Alt-тексты изображений	Дополнительный контекст	⭐⭐⭐ Важно
Анкоры внутренних ссылок	Тематические связи страниц	⭐⭐⭐ Важно
Категория и теги страницы	Тематическая классификация	⭐⭐⭐⭐ Очень важно
URL структура	Тематические сигналы из URL	⭐⭐⭐ Важно
Язык контента	Геотаргетинг рекламы	⭐⭐⭐⭐⭐ Критически важно
Возрастная маркировка	Ограничения на категории рекламы	⭐⭐⭐⭐ Очень важно

2.3 Как формируется тематический профиль страницы

Mediapartners-Google строит семантическую модель каждой страницы. От точности этой модели напрямую зависит доход издателя:

Пример 1 — Статья про ипотеку:
Контент: "Как получить ипотеку в 2026 году. Требования банков..."
Mediapartners определяет: финансы → кредитование → ипотека → недвижимость
Реклама: банки, ипотечные брокеры, застройщики → высокий CPC

Пример 2 — Рецепт борща:
Контент: "Классический рецепт борща. Ингредиенты: свёкла, капуста..."
Mediapartners определяет: кулинария → рецепты → первые блюда → русская кухня
Реклама: кухонная техника, доставка продуктов, кулинарные курсы → средний CPC

Пример 3 — Общий контент без чёткой темы:
Контент: "Разные новости и статьи на любые темы..."
Mediapartners: не может точно определить тему
Реклама: PSA (социальная реклама) или низкоставочные объявления → минимальный доход

2.4 Частота обходов

Сценарий	Частота
Новая страница с кодом AdSense	В течение нескольких часов после публикации
Регулярная проверка существующих страниц	Раз в несколько дней
После значительного изменения контента	В течение 24–48 часов
Страницы с высоким трафиком	Чаще — несколько раз в неделю
Неактивные страницы	Раз в 2–4 недели

Google AdSense — рекламная сеть, позволяющая издателям зарабатывать на показе рекламы Google Ads на своих сайтах. Система работает по модели аукциона в реальном времени (RTB — Real-Time Bidding):

Пользователь открывает страницу с рекламным блоком AdSense.
Система AdSense определяет тему страницы (на основе данных Mediapartners-Google).
Проводится аукцион: рекламодатели конкурируют за показ своего объявления.
Побеждает объявление с максимальной ставкой, релевантное теме страницы и профилю пользователя.
Издатель получает ~68% от суммы, которую платит рекламодатель.

Метрика	Расшифровка	На что влияет
RPM (Revenue Per Mille)	Доход на 1000 показов страницы	Основной показатель эффективности монетизации
CPC (Cost Per Click)	Стоимость клика по рекламе	Зависит от тематики и конкуренции рекламодателей
CTR (Click-Through Rate)	Процент кликов от показов	Зависит от размещения и релевантности рекламы
Impressions	Количество показов рекламы	Зависит от трафика сайта
Page RPM	Доход на 1000 сессий	Комплексный показатель эффективности страницы
Fill Rate	Процент заполненных рекламных мест	Показывает, насколько тема востребована рекламодателями

3.3 Требования Google к сайтам-издателям

Требование	Детали
Оригинальный контент	Уникальные материалы, созданные издателем — не копипаст
Минимальный объём контента	Достаточно текста для понимания темы страницы
Политика конфиденциальности	Обязательна на сайте с описанием использования данных
Запрещённый контент	Нет контента для взрослых (без спец. разрешения), насилия, нелегального
Навигация сайта	Понятная структура, возможность покинуть страницу
Реальный трафик	Запрещён накрученный, ботовый и мошеннический трафик
Запрет кликфрода	Нельзя кликать по собственным объявлениям или просить других
HTTPS	Настоятельно рекомендуется, влияет на доверие рекламодателей

4. Нагрузка на сервер

Mediapartners-Google создаёт умеренную нагрузку, сопоставимую с основным Googlebot: он обходит HTML-страницы полностью, включая все ресурсы, необходимые для рендеринга и понимания контента.

4.1 Типичная нагрузка по типам сайтов

Тип сайта	Страниц с AdSense	Нагрузка от Mediapartners
Личный блог	10–100 страниц	Незаметная, редкие визиты
Нишевый информационный сайт	100–1 000 страниц	Низкая, несколько десятков запросов в день
Новостной портал	1 000–50 000 страниц	Ощутимая, сотни запросов в день
Крупный контентный сайт	50 000+ страниц	Высокая, тысячи запросов в день
Форум / UGC-платформа	Миллионы страниц	Очень высокая, нужен crawl control

4.2 Факторы, увеличивающие нагрузку

Частое обновление контента — новые статьи и правки провоцируют повторные обходы
Большое количество страниц с AdSense — бот обходит каждую страницу с рекламным кодом
Динамические страницы без кеша — каждый запрос генерирует страницу заново
Тяжёлые страницы — много изображений, скриптов, виджетов
Бесконечная пагинация — форумы и архивы с тысячами страниц пагинации
Нет сжатия gzip — страницы передаются в несжатом виде

4.3 Признаки активности в логах

# Найти все запросы Mediapartners-Google:
grep -i 'Mediapartners-Google' /var/log/nginx/access.log

# Пиковая активность по часам:
grep -i 'Mediapartners-Google' access.log \
  | awk '{print $4}' | cut -d: -f2 | sort | uniq -c | sort -n

# Сравнить объём трафика Mediapartners vs Googlebot:
echo "Mediapartners:"
grep -i 'Mediapartners-Google' access.log | wc -l
echo "Googlebot:"
grep -i 'Googlebot' access.log | grep -v 'Mediapartners' | wc -l

5. Обнаружение в логах

5.1 Как выглядит запись

# Nginx access.log — стандартный визит Mediapartners-Google:
66.249.79.40 - - [08/May/2026:18:15:22 +0000] \
  "GET /blog/kak-poluchit-ipoteku/ HTTP/1.1" \
  200 28432 "-" \
  "Mediapartners-Google"

# Мобильная версия:
66.249.79.41 - - [08/May/2026:18:15:24 +0000] \
  "GET /blog/kak-poluchit-ipoteku/ HTTP/1.1" \
  200 24180 "-" \
  "Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) \
  AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 \
  Mobile/15E148 Safari/604.1 (compatible; Mediapartners-Google/2.1)"

# Запрос к странице с PSA (низкий доход — предупреждение):
66.249.79.40 - - [08/May/2026:18:16:00 +0000] \
  "GET /page-with-mixed-content/ HTTP/1.1" \
  200 15230 "-" \
  "Mediapartners-Google"

5.2 Аналитика через grep

Найти все запросы Mediapartners-Google:

grep -i 'Mediapartners-Google' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'Mediapartners-Google' access.log | wc -l

Топ наиболее часто обходимых страниц:

grep -i 'Mediapartners-Google' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -30

HTTP-коды ответов:

grep -i 'Mediapartners-Google' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Страницы с ошибками (потенциальная потеря дохода AdSense):

grep -i 'Mediapartners-Google' access.log \
  | awk '$9 >= 400 {print $7, $9}' \
  | sort | uniq -c | sort -nr

Bandwidth — сколько данных скачал бот:

grep -i 'Mediapartners-Google' access.log \
  | awk '{sum+=$10} END{print sum/1024/1024 " MB"}'

Динамика по дням — как часто приходит бот:

grep -i 'Mediapartners-Google' access.log \
  | awk '{print $4}' | cut -d: -f1 | tr -d '[' \
  | sort | uniq -c

Live-мониторинг:

tail -f /var/log/nginx/access.log \
  | grep --line-buffered 'Mediapartners-Google'

5.3 Верификация подлинности

#!/bin/bash
# Проверка: настоящий ли Mediapartners-Google?
IP=$1
HOST=$(host $IP | awk '{print $NF}')

if [[ $HOST == *googlebot.com* ]] || [[ $HOST == *google.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  if [[ $FWD == $IP ]]; then
    echo "✔ Настоящий Mediapartners-Google: $IP → $HOST"
  else
    echo "✖ Fake Mediapartners (DNS mismatch): $IP"
  fi
else
  echo "✖ Fake Mediapartners-Google (нет PTR записи google.com): $IP"
fi

6.1 Тематическая чистота страницы — главный фактор

Чем чётче и однозначнее тема страницы, тем точнее Mediapartners-Google определит её категорию и тем релевантнее (и дороже) будет реклама:

<!-- ✖ Плохо: смешанный контент на одной странице -->
<h1>Разные новости и советы</h1>
<!-- Статья про кулинарию + финансовые советы + обзор телефона -->
<!-- Mediapartners не может определить тему → PSA или дешёвая реклама -->

<!-- ✔ Хорошо: чёткая моноопическая страница -->
<title>Рефинансирование ипотеки в 2026: пошаговое руководство</title>
<h1>Как рефинансировать ипотеку в 2026 году</h1>
<!-- Весь контент — про ипотеку и финансы -->
<!-- Mediapartners: финансы → ипотека → рефинансирование → высокий CPC -->

Ниши с высоким CPC (высокодоходные для AdSense):

Ниша	Примерный CPC (USD)	Почему высокий
Финансы (кредиты, ипотека, инвестиции)	$5 — $50+	Высокая конкуренция банков и финансовых сервисов
Юридические услуги	$5 — $30+	Высокая ценность клиента для юридических фирм
Страхование	$3 — $20+	Страховые компании платят много за лиды
Недвижимость	$2 — $15+	Высокая ценность сделки
Здоровье и медицина	$2 — $10+	Фармацевтика и клиники платят за целевую аудиторию
Образование	$1 — $8+	Онлайн-школы конкурируют за студентов
Технологии и B2B ПО	$2 — $15+	SaaS-компании с высоким LTV клиента

6.2 Структура контента для Mediapartners

Mediapartners-Google читает страницу во многом так же, как человек-редактор: обращает внимание на заголовки, первые абзацы, ключевые термины. Оптимизируйте структуру:

<!-- Оптимальная структура страницы для AdSense -->

<!-- 1. Title с главным ключевым словом -->
<title>Как получить ипотеку без первоначального взноса в 2026 году</title>

<!-- 2. H1 — точное отражение темы -->
<h1>Ипотека без первоначального взноса: условия, банки, требования</h1>

<!-- 3. Мета-описание с тематическими ключевыми словами -->
<meta name="description"
      content="Полный гайд по ипотеке без взноса в 2026: какие банки дают,
      требования к заёмщику, процентные ставки и условия досрочного погашения.">

<!-- 4. Первый абзац — сразу по теме -->
<p>Ипотека без первоначального взноса доступна в 2026 году в нескольких
крупных российских банках. Рассмотрим условия, требования к заёмщику
и подводные камни такого кредитования.</p>

<!-- 5. H2 — тематические подразделы -->
<h2>Какие банки дают ипотеку без первоначального взноса</h2>
<h2>Требования к заёмщику</h2>
<h2>Процентные ставки и переплата</h2>

6.3 Страницы, которые Mediapartners анализирует хуже всего

Некоторые типы страниц дают низкий доход от AdSense, потому что Mediapartners-Google не может точно определить их тему или они нарушают политику AdSense:

Страницы входа и регистрации — нет содержательного контента
Пустые категории — только список заголовков без текста
Страницы поиска — нерелевантный смешанный контент
Страницы ошибок (404) — нет контента вообще
Корзина и оформление заказа — не нужна реклама там
Страницы с минимальным текстом — менее 300 слов
Страницы с дублированным контентом — теги, архивы, пагинация

6.4 Размещение рекламных блоков

Mediapartners-Google при обходе страницы также определяет, где физически расположены рекламные блоки, что влияет на их эффективность:

<!-- ✔ Эффективное размещение блоков AdSense -->

<!-- 1. Над заголовком или сразу после H1 -->
<div class="ad-top">
  <!-- AdSense блок -->
</div>

<!-- 2. В тексте статьи после 2–3 абзацев -->
<p>... первые абзацы статьи ...</p>
<div class="ad-inline">
  <!-- AdSense блок in-article -->
</div>
<p>... продолжение статьи ...</p>

<!-- 3. В конце статьи перед комментариями -->
<div class="ad-footer">
  <!-- AdSense блок -->
</div>

<!-- ✖ Неэффективное и нарушающее политику -->
<!-- Более 3 стандартных блоков на странице (устаревшее ограничение, -->
<!-- но злоупотребление всё равно снижает качество) -->
<!-- Реклама, перекрывающая контент (interstitials) -->
<!-- Блоки рядом с запрещённым контентом -->

6.5 Адаптивные блоки и Auto Ads

Google рекомендует использовать Auto Ads — автоматическое размещение рекламы, которое само определяет оптимальные места на основе данных Mediapartners-Google о структуре страницы:

<!-- Установка Auto Ads (один раз в <head>): -->
<script async
  src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-XXXXXXXXXXXXXXXXX"
  crossorigin="anonymous">
</script>

<!-- Адаптивный блок (рекомендуется вместо фиксированных размеров): -->
<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-XXXXXXXXXXXXXXXXX"
     data-ad-slot="XXXXXXXXXX"
     data-ad-format="auto"
     data-full-width-responsive="true">
</ins>
<script>
  (adsbygoogle = window.adsbygoogle || []).push({});
</script>

7. Управление Mediapartners-Google

7.1 robots.txt — критические правила

⚠ Критически важно: Mediapartners-Google не подчиняется директиве User-agent: *. Для блокировки необходимо явное указание User-Agent. Блокировка Mediapartners-Google полностью отключает контекстный подбор рекламы — вместо целевых объявлений сайт будет показывать PSA (публичную социальную рекламу) или рекламу с минимальными ставками.

✔ Правильная конфигурация для издателя AdSense:

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /*?sort=
Disallow: /cart/
Disallow: /checkout/
Allow: /

# Mediapartners-Google должен иметь полный доступ!
# Не добавляйте его в Disallow при использовании AdSense.

Sitemap: https://example.com/sitemap.xml

Запретить Mediapartners только определённые разделы:

# Скрыть от анализа разделы без рекламы или с нежелательным контентом:
User-agent: Mediapartners-Google
Disallow: /members/
Disallow: /private/
Disallow: /checkout/
Disallow: /search/
Disallow: /tag/
Allow: /

Полная блокировка — только если отказываетесь от AdSense:

User-agent: Mediapartners-Google
Disallow: /
# Последствие: PSA-реклама или пустые блоки вместо целевой рекламы

7.2 Блокировка через .htaccess (Apache)

RewriteEngine On
# ТОЛЬКО если вы не используете AdSense на сайте:
RewriteCond %{HTTP_USER_AGENT} "Mediapartners-Google" [NC]
RewriteRule .* - [F,L]

# Мягкий вариант — блокировать только определённые разделы:
RewriteCond %{HTTP_USER_AGENT} "Mediapartners-Google" [NC]
RewriteCond %{REQUEST_URI} ^/private/ [NC]
RewriteRule .* - [F,L]

7.3 Блокировка через Nginx

map $http_user_agent $is_mediapartners {
    default              0;
    "~*Mediapartners-Google" 1;
}

# Заблокировать конкретные разделы:
location /private/ {
    if ($is_mediapartners) {
        return 403;
    }
}

# Или полная блокировка (только без AdSense):
# if ($is_mediapartners) {
#     return 403;
# }

7.4 Тег `data-nosnippet` и управление через HTML

Если нужно скрыть часть контента от анализа Mediapartners-Google без блокировки всей страницы — используйте HTML-атрибуты:

<!-- Скрыть блок от анализа Mediapartners и Googlebot: -->
<div data-nosnippet>
  <!-- Этот контент не будет использоваться для подбора рекламы -->
  <p>Реклама от наших партнёров</p>
</div>

<!-- Мета-тег для управления снипетами: -->
<meta name="robots" content="max-snippet:-1">

<!-- Запретить только Mediapartners анализировать страницу: -->
<meta name="Mediapartners-Google" content="noindex">

Mediapartners-Google при обходе страниц проверяет соответствие политике AdSense. Нарушения приводят к блокировке рекламы на конкретных страницах или отключению аккаунта:

Контент для взрослых (без специального разрешения Google)
Пропаганда насилия, ненависти, дискриминации
Нелегальные товары и услуги
Контент, нарушающий авторские права
Вредоносное ПО, фишинг, мошенничество
Накрученный или искусственный трафик
Чрезмерное количество рекламы, перекрывающей контент
Страницы созданные исключительно для показа рекламы (MFA — Made for AdSense)

8.2 Блокировка рекламы на уровне страниц

Если Mediapartners-Google определяет страницу как нарушающую политику, реклама на ней блокируется автоматически — даже при активном аккаунте AdSense:

<!-- Явный запрет рекламы на конкретной странице: -->
<meta name="robots" content="noindex">
<!-- или -->
<meta name="Mediapartners-Google" content="noindex">

<!-- Страницы, где лучше отключить рекламу самостоятельно: -->
<!-- - Страница входа/регистрации -->
<!-- - Страница оформления заказа -->
<!-- - Страницы с конфиденциальной информацией -->
<!-- - Страницы 404/500 -->

8.3 Категории рекламы и фильтрация

Издатели могут управлять категориями рекламы через интерфейс AdSense — блокировать нежелательные категории или конкретных рекламодателей. Но это уже не связано напрямую с Mediapartners-Google, а настраивается через панель AdSense:

AdSense → Блокировка рекламы → Категории рекламы
AdSense → Блокировка рекламы → Рекламодатели
AdSense → Блокировка рекламы → Рекламные сети
AdSense → Блокировка рекламы → Общие категории (gambling, adult и т. д.)

9.1 Признаки того, что Mediapartners-Google заблокирован

На сайте показывается только PSA (публичная социальная реклама)
RPM значительно ниже среднего для данной ниши
Fill Rate близок к нулю — рекламные блоки пустые
В логах нет запросов от Mediapartners-Google к страницам с рекламой
AdSense аккаунт показывает предупреждение о доступности сайта

9.2 Пошаговая диагностика

Шаг 1 — Проверить robots.txt:

curl https://example.com/robots.txt | grep -i 'mediapartners'
# Если найдено Disallow: / — это причина проблемы

Шаг 2 — Симулировать запрос Mediapartners-Google:

curl -A "Mediapartners-Google" -I https://example.com/your-page/
# Ожидаемый ответ: HTTP/1.1 200 OK
# Проблема: 403 Forbidden, 404 Not Found, 301 на страницу с ошибкой

Шаг 3 — Проверить логи на наличие запросов:

grep -i 'Mediapartners-Google' /var/log/nginx/access.log | tail -20
# Если последний запрос был давно или его нет — возможна блокировка

Шаг 4 — Проверить meta-теги noindex:

curl -A "Mediapartners-Google" https://example.com/your-page/ \
  | grep -i 'noindex\|mediapartners\|robots'
# Наличие noindex или "Mediapartners-Google: noindex" блокирует анализ

Шаг 5 — Инструменты AdSense:

AdSense → Сайты → Диагностика сайта
AdSense → Сайты → Проверить сайт
Google Search Console → URL Inspection — проверить доступность страницы
AdSense Help Center → Policy Center — список нарушений по страницам

9.3 Частые ошибки и решения

Проблема	Причина	Решение
PSA-реклама вместо целевой	Mediapartners заблокирован или не может определить тему	Убрать из robots.txt, улучшить тематичность контента
Низкий RPM при хорошем трафике	Нишевый контент с низким CPC	Добавить контент высокодоходных ниш
Пустые рекламные блоки	Нарушение политики AdSense на странице	Проверить Policy Center, исправить нарушения
Аккаунт заблокирован	Кликфрод, запрещённый контент, накрутка	Подать апелляцию через AdSense форму
Реклама не соответствует теме	Страница имеет смешанный контент	Сфокусировать контент на одной теме
Реклама по конкурентам на коммерческих страницах	Контекстная реклама по тематике	Заблокировать конкурентов через AdSense → Блокировка

10. Оптимизация скорости для Mediapartners-Google

Скорость загрузки страницы важна не только для SEO, но и для AdSense: медленные страницы хуже ранжируются органически (меньше трафика), а тяжёлые страницы могут повлиять на то, как Mediapartners-Google читает контент.

# Nginx — кеш HTML-страниц с рекламой:
# ВАЖНО: Кешировать HTML нужно аккуратно — AdSense код динамический,
# но сам HTML-контент для Mediapartners можно кешировать

# Вариант 1 — Кеш на уровне reverse proxy (без кеша для пользователей):
proxy_cache_valid 200 1h;
proxy_cache_key "$scheme$request_method$host$request_uri";
proxy_cache_bypass $http_pragma;

# Вариант 2 — Кеш статических ресурсов:
location ~* \.(css|js|png|jpg|gif|ico|woff2)$ {
    expires 1y;
    add_header Cache-Control "public, immutable";
}

# Кеш страниц (осторожно с динамическими элементами):
location / {
    add_header Cache-Control "public, max-age=3600,
                              stale-while-revalidate=86400";
}

<!-- ✔ Асинхронная загрузка — не блокирует рендеринг: -->
<script async
  src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-XXXXXX"
  crossorigin="anonymous">
</script>

<!-- ✖ Устаревший синхронный способ — блокирует рендеринг: -->
<script
  src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js">
</script>

<!-- Preconnect для ускорения загрузки рекламы: -->
<link rel="preconnect" href="https://pagead2.googlesyndication.com">
<link rel="preconnect" href="https://googleads.g.doubleclick.net">
<link rel="dns-prefetch" href="https://pagead2.googlesyndication.com">

11. Mediapartners-Google vs другие рекламные краулеры

Краулер	Платформа	User-Agent	Назначение
Mediapartners-Google	Google AdSense	`Mediapartners-Google`	Анализ контента для подбора рекламы
AdsBot-Google	Google Ads	`AdsBot-Google`	Quality Score landing pages
Bingbot	Microsoft Advertising	`bingbot/2.0`	Индексация + реклама Bing
AdIdxBot	Microsoft Ads	`adidxbot/2.0`	Аналог Mediapartners для Bing Ads
YandexDirect	Яндекс.Директ / РСЯ	`YandexDirect`	Анализ контента для РСЯ
Outbrain Bot	Outbrain (нативная реклама)	`OutbrainSectionFetcher`	Рекомендательная реклама
Taboola Bot	Taboola (нативная реклама)	`TaboolaBot`	Рекомендательная реклама
GPTBot	OpenAI	`GPTBot`	AI-харвестер (не рекламный)

Блокировка AI-харвестеров (без ущерба для AdSense):

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: anthropic-ai
Disallow: /

# Mediapartners-Google НЕ блокировать при использовании AdSense!

12. Рекомендуемая стратегия

✔ Главный принцип: Mediapartners-Google — ваш партнёр по монетизации. Чем лучше он понимает тему страницы, тем релевантнее реклама и тем выше ваш доход. Открытый доступ + качественный тематический контент + правильная структура страниц = максимальный RPM.

Задача	Решение
Максимизировать доход AdSense	Чёткий тематический контент + высокодоходные ниши
Обеспечить доступ Mediapartners	Не блокировать в robots.txt, проверить HTTP-коды
Улучшить релевантность рекламы	Фокусированный контент по одной теме на странице
Скрыть ненужные страницы	robots.txt Disallow или <meta name="Mediapartners-Google" content="noindex">
Диагностировать PSA-рекламу	curl с UA Mediapartners + проверка robots.txt + AdSense диагностика
Снизить нагрузку от бота	Кеш страниц + gzip + CDN для статических ресурсов
Блокировать нежелательные категории рекламы	AdSense → Блокировка рекламы → Категории
Отключить рекламу на конкретной странице	data-nosnippet или meta Mediapartners-Google noindex
Верифицировать подлинность бота	Двухэтапный DNS lookup (reverse + forward на google.com)
Защититься от поддельных ботов	IP-верификация по списку googlebot.json + Cloudflare WAF

Mediapartners-Google (Google AdSense) бот

DDoS атака что это простыми словами и как защитить сайт

Энциклопедия ботов TrafficVeil