Заблокировали MediavineMetadataParser — и сломали себе рекламу

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а MediavineMetadataParser с User-Agent mediavinemetadataparser. Прежде чем банить этот токен по шаблону «нежелательный краулер», стоит проверить одну вещь — не монетизируется ли сайт через рекламную сеть Mediavine, потому что от ответа на этот вопрос зависит, не сломает ли блокировка показ рекламы. MediavineMetadataParser — автоматический fetcher, которым управляет Mediavine, крупная платформа монетизации рекламы для блогов и контентных сайтов. Бот извлекает HTML-метаданные страницы: Open Graph и Twitter Cards, разметку schema.org JSON-LD, oEmbed, фиды и canonical-теги. Эти данные питают собственные функции платформы — превью ссылок, рекомендации контента и контекстное размещение рекламы для сайтов-партнёров сети. Оператор: Mediavine — не Meta, как иногда ошибочно указывают из-за созвучия названий. Классификация: для сайтов, монетизирующихся через Mediavine, это критически важный служебный трафик, а не нежелательный шум.

Что такое MediavineMetadataParser

Реальный кейс: блокировка ломает рекламу

В публичном форуме поддержки одного из хостинг-провайдеров зафиксирован конкретный случай: у сайта-партнёра рекламной сети защита от ботов на Cloudflare заблокировала MediavineMetadataParser, что привело к проблемам с показом рекламного скрипта на сайте. Хостингу пришлось вручную добавлять этот UA в исключения, чтобы монетизация снова заработала. Это не гипотетический риск, а задокументированный прецедент — если сайт использует Mediavine для показа рекламы, слепая блокировка этого бота по шаблону «нежелательный краулер, банить по умолчанию» может напрямую снизить доход от рекламы.

Зачем MediavineMetadataParser приходит на сайт

• Какие зоны трогает: страницы, для которых нужны метаданные — контентные материалы, карточки, страницы с рекламными блоками
• Что ищет: Open Graph/Twitter Cards, JSON-LD разметку schema.org, oEmbed-данные, canonical-теги, фиды
• Чем отличается от браузерного пользователя: нет обычной сессии, обращения привязаны к работе рекламной платформы, а не к посещаемости сайта людьми

Как определить, актуален ли этот бот для конкретного сайта

• Проверьте, подключён ли сайт к Mediavine как рекламной сети — это можно уточнить у команды, отвечающей за монетизацию
• Если да — визиты этого бота, скорее всего, часть штатной работы рекламной интеграции
• Если сайт не работает с Mediavine — прямой пользы от визитов действительно нет, и блокировка безопасна

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у mediavinemetadataparser может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий — что ожидаемо, поскольку бот не приводит читателя, а обслуживает рекламную инфраструктуру.

Как найти MediavineMetadataParser в логах

# Базовый поиск
grep -i "mediavinemetadataparser" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "mediavinemetadataparser" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "mediavinemetadataparser" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "mediavinemetadataparser" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Официального списка IP не публикуется, поэтому строке UA напрямую доверять нельзя — её может присвоить себе любой скрипт. Смотрите связку UA + ASN/IP + частоту + набор URL:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для MediavineMetadataParser

# Жёсткий запрет — только если сайт точно не использует Mediavine
User-agent: mediavinemetadataparser
Disallow: /

# Разрешить всё — если сайт монетизируется через Mediavine
User-agent: mediavinemetadataparser
Allow: /

# Компромисс: закрыть служебные разделы, оставить контентные страницы с рекламой
User-agent: mediavinemetadataparser
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "mediavinemetadataparser") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=mediavinemetadatap:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "mediavinemetadataparser") {
        limit_req zone=mediavinemetadatap burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} mediavinemetadataparser [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите mediavinemetadataparser / MediavineMetadataParser в ботах домена или в /system/bots
• Перед блокировкой уточните у команды монетизации, используется ли Mediavine
• Сайт на Mediavine — оставляйте allow, иначе рискуете сломать показ рекламы, как это уже случалось у других сайтов сети
• Сайт не связан с Mediavine — можно ставить запрет без риска

Рекомендации: что делать с MediavineMetadataParser

• Сайт монетизируется через Mediavine — Allow, блокировка может напрямую снизить рекламный доход, как в задокументированном случае с хостингом BigScoots
• Mediavine не используется — Disallow/403, прямой пользы от визитов нет
• Если сайт передавался в управление или менял рекламную сеть — проверьте актуальность настройки, легаси-правила блокировки от предыдущей конфигурации могли остаться по ошибке
• Не режьте слишком широко User-agent: * или общие антибот-фильтры (в том числе на Cloudflare), чтобы случайно не задеть этот бот на сайте, где он нужен