GoogleProducer: бот для издателей Google News, у которого нет своего robots.txt-токена

Издатель обновил фид в Google Publisher Center — и через некоторое время в access.log появляется запрос от GoogleProducer. Это не случайный машинный визит: John Mueller, представитель Google по поиску, лично подтвердил в публичном треде, что это официальные запросы с User-Agent, специфичным именно для конфигурации Google News в Publisher Center.

Что такое GoogleProducer

Зачем GoogleProducer приходит на сайт

Если ваш сайт — новостное издание, использующее Google News через Publisher Center, механизм простой: вы (или ваша CMS) отправляете фид, секцию или обновление сайта в Publisher Center, и GoogleProducer заходит проверить связанные URL — валидирует контент и метаданные, чтобы страница корректно отображалась в Google News.

• Какие зоны чаще трогает: URL, связанные с отправленными фидами и настройками публикации в Publisher Center
• Что ищет: подтверждение корректности контента и метаданных для показа в Google News
• Чем отличается от постоянного обхода: модель event-driven — запросы привязаны к конкретным действиям издателя и периодическим циклам валидации, а не к расписанию массового краулинга

Важно понимать: если сайт не связан с Google News и Publisher Center, GoogleProducer, скорее всего, вообще не будет к вам обращаться регулярно — это не универсальный краулер, а сервис под конкретную издательскую функцию.

Почему типичный «ночной всплеск RPS» здесь маловероятен

По независимым наблюдениям, GoogleProducer генерирует небольшое количество запросов на одно обновление и не ведёт постоянный обход сайта. Даже у крупных издателей нагрузка на bandwidth и сервер обычно минимальна и заметно ниже, чем у стандартных поисковых краулеров. Если вы видите стабильно высокий фон именно от этого токена ночью на пагинации и карточках — стоит перепроверить, действительно ли это GoogleProducer, а не подделка UA.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у googleproducer может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают общий фон. Для GoogleProducer этот фон, по природе трафика, должен быть особенно небольшим — событийным, а не систематическим. Смотрите не только абсолютный RPS, но и качество хитов: концентрация на URL, связанных с фидами публикации, а не на случайных разделах сайта — характерный признак подлинного трафика этого сервиса.

Как найти GoogleProducer в логах

# Базовый поиск
grep -i "googleproducer" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "googleproducer" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "googleproducer" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "googleproducer" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Официально рекомендуемый способ — не строка UA (её легко подделать), а связка проверки IP-диапазона Google и обратного/прямого DNS:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для GoogleProducer — с важной оговоркой

# Формально можно попробовать прописать
User-agent: googleproducer
Disallow: /

Важно: по независимым данным, у GoogleProducer нет выделенного собственного токена для robots.txt — правило может не сработать так, как ожидается. Если задача — реально ограничить доступ, надёжнее использовать WAF-правила или контроль на уровне IP, а не полагаться на robots.txt как единственный механизм.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "googleproducer") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=googleproducer:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "googleproducer") {
        limit_req zone=googleproducer burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} googleproducer [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите googleproducer / GoogleProducer в ботах домена или в /system/bots
• Сайт использует Google News / Publisher Center — оставляйте allow, блокировка может сломать корректную валидацию фидов и отображение в Google News
• Google News не используется — можно ставить запрет без риска для функциональности
• После изменения сверьте логи: хиты googleproducer должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с GoogleProducer

• Сайт — издатель, работающий с Google News через Publisher Center — Allow, это помогает валидировать фиды и корректно показывать контент в новостной выдаче
• Google News не используется — Disallow/403 на уровне сервера, поскольку прямого robots.txt-токена для надёжного контроля может не быть
• Если после ограничений через robots.txt трафик продолжается — не удивляйтесь, переходите сразу к WAF/серверному уровню
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot вместе с googleproducer