Google-PageRenderer: след давно закрытого сервиса Google+

В логах сайт может выглядеть «живым», хотя рост дают не посетители, а Google-PageRenderer с User-Agent google-pagerenderer. Это редкий случай, когда принадлежность бота Google подтверждается не только по имени: в полевых наблюдениях вебмастеров такие запросы фиксировались с 74.125.0.0/16 — подтверждённой подсети Google. А вот с назначением всё интереснее: строка UA этого краулера исторически ссылалась на developers.google.com/+/web/snippet/ — служебный URL функции рендеринга «сниппетов» ссылок для Google+, соцсети Google, закрытой ещё несколько лет назад.

Что такое Google-PageRenderer

Почему шаблонное объяснение «проверка виджета/webhook» здесь не подходит

В общих описаниях таких ботов часто фигурирует формулировка вроде «проверяет корректность установки трекинг-кода от имени пользователя сервиса» — это подходит для многих легитимных агентов, но не подтверждается для Google-PageRenderer конкретно. Реальная связь этого токена — с генерацией визуального превью страницы для шеринга в Google+, а не с верификацией интеграций. Since Google+ для потребителей закрыт, современная практическая роль бота менее ясна: возможно, часть внутренней инфраструктуры Google переиспользует тот же рендерер для других задач рендеринга страниц, но открытого подтверждения этому нет.

Зачем Google-PageRenderer может приходить на сайт сейчас

• Какие зоны чаще трогает: отдельные публичные URL — судя по описаниям, скорее точечные обращения, чем систематический обход всего сайта
• Что ищет: исторически — контент и метаданные для построения визуального сниппета страницы
• Чем отличается от браузерного пользователя: нет обычной сессии, обращения нерегулярны и не привязаны к посещаемости сайта людьми

Типичный кейс: маркетинг видит всплеск хитов в Метрике/GA, но сессии пустые. Причина — Google-PageRenderer. Поскольку происхождение трафика подтверждается диапазоном Google, паниковать не стоит — но и автоматически считать его критически важным для SEO тоже не нужно: это не Googlebot и не имеет прямого отношения к индексации.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у google-pagerenderer может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти Google-PageRenderer в логах

# Базовый поиск
grep -i "google-pagerenderer" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "google-pagerenderer" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "google-pagerenderer" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "google-pagerenderer" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Официального актуального списка IP именно для этого токена нет, но полевые наблюдения связывают его с подсетями Google вроде 74.125.0.0/16. Дополнительно можно свериться через обратный DNS — легитимные краулеры Google резолвятся в хосты вида *.googlebot.com или *.google.com:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для Google-PageRenderer

# Жёсткий запрет
User-agent: google-pagerenderer
Disallow: /

# Разрешить всё
User-agent: google-pagerenderer
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: google-pagerenderer
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: поскольку токен не значится явно в текущей официальной документации Google, гарантий безусловного соблюдения robots.txt для него меньше, чем для основных краулеров вроде Googlebot. Если после Disallow визиты продолжаются, переходите к nginx/Apache или запрету в TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "google-pagerenderer") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=googlepagerenderer:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "google-pagerenderer") {
        limit_req zone=googlepagerenderer burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} google-pagerenderer [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите google-pagerenderer / Google-PageRenderer в ботах домена или в /system/bots
• Учитывая подтверждённую связь с инфраструктурой Google, для мягкого сценария подойдёт rate-limit вместо жёсткого запрета
• Allow — если нагрузка минимальна и нет причин закрывать легитимный трафик Google
• После изменения сверьте логи: хиты должны уйти в блок/лимит, а Googlebot и другие поисковики остаться без изменений

Рекомендации: что делать с Google-PageRenderer

• Нагрузка незначительна, происхождение подтверждено — можно оставить allow, критичного риска нет
• Нагрузка мешает — сначала rate-limit, затем полный запрет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot вместе с этим токеном
• Не рассчитывайте, что блокировка или разрешение этого бота как-то повлияет на позиции сайта в поиске — прямой связи с индексацией нет