Не паникуйте: GoogleOther-Video в логах — это не подозрительный бот

Заметили в логах странный всплеск на видеостраницах без единого реального просмотра? Возможно, это GoogleOther-Video — и, в отличие от многих записей в этой категории, беспокоиться здесь особо не о чем: это официально задокументированный краулер Google, а не таинственный агент с непрозрачным происхождением.

Что такое GoogleOther-Video

Зачем этот краулер вообще существует

История появления семейства GoogleOther простая: Google выделил R&D-обходы (задачи внутренних исследований и разработки продуктовых команд) в отдельный краулер, чтобы не смешивать их с работой основного Googlebot, который строит поисковый индекс. GoogleOther-Video — специализированная версия именно под видеоконтент: сбор публичных видео-URL для внутренних нужд, будь то эксперименты с новыми функциями, анализ форматов или R&D-проекты, не привязанные к конкретному продукту вроде Search или YouTube.

• Какие зоны чаще трогает: страницы с видеоконтентом и прямые видео-URL
• Что ищет: публично доступные видеофайлы и связанные метаданные для внутреннего анализа
• Чем отличается от Googlebot: не участвует в построении поискового индекса — блокировка не затрагивает позиции сайта в Google Search напрямую

Официальная позиция Google по этому семейству краулеров прямая: если вы видите GoogleOther в логах, это не повод для тревоги — перед вами настоящий Googlebot, просто занятый не поисковыми, а исследовательскими задачами.

Стоит ли ждать отдачи от этого трафика

Здесь стоит быть реалистом: GoogleOther-Video не генерирует реферальный трафик и не цитирует ваш сайт — это внутренний, R&D-ориентированный инструмент, а не продукт с публичной выдачей, которая приводила бы посетителей. Прямой видимой пользы от разрешённого доступа вы не получите. Косвенная польза теоретически возможна — собранные данные могут пригодиться будущим продуктовым интеграциям Google, но это не гарантия и не то, ради чего стоит держать бот открытым специально. Если у вас нет принципиальных возражений против доступа Google к видеофайлам сайта, веской причины блокировать этот краулер тоже нет.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у googleother-video может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий — что ожидаемо для внутреннего R&D-инструмента без пользовательской составляющей. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на видеостраницах, а не на служебных разделах.

Как найти GoogleOther-Video в логах

# Базовый поиск
grep -i "googleother-video" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "googleother-video" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "googleother-video" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "googleother-video" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

User-Agent можно подделать, поэтому для настоящей уверенности проверяйте обратный DNS и сверяйте IP со списком Google, а не полагайтесь только на строку UA:

IP="1.2.3.4"
# ожидаемый обратный хост: crawl-*-*-*-*.googlebot.com
# или: geo-crawl-*-*-*-*.geo.googlebot.com
dig +short -x "$IP"

Будьте осторожны с блокировкой широких диапазонов IP Google — общие подсети могут задеть и другие легитимные краулеры семейства заодно.

robots.txt для GoogleOther-Video

# Жёсткий запрет именно видео-варианта
User-agent: GoogleOther-Video
Disallow: /

# Разрешить всё
User-agent: GoogleOther-Video
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичное видео
User-agent: GoogleOther-Video
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важный нюанс: правило под общим токеном User-agent: GoogleOther тоже распространяется на GoogleOther-Video — отдельное правило нужно только если хотите настроить именно видео-краулер иначе, чем остальное семейство GoogleOther.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "googleother-video") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=googleothervideo:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "googleother-video") {
        limit_req zone=googleothervideo burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} googleother-video [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите googleother-video / GoogleOther Video в ботах домена или в /system/bots
• Нет принципиальных возражений против доступа Google к видео сайта — можно смело оставить allow
• Нагрузка ощутима — rate-limit разумнее полного запрета, учитывая низкий риск источника
• После изменения сверьте логи: хиты googleother-video должны уйти в блок/лимит, а Googlebot и другие краулеры Google остаться без изменений

Рекомендации

• Официально подтверждённое происхождение и минимальный риск — не блокируйте по умолчанию «на всякий случай», как более сомнительных ботов из этой же категории
• Если действительно не хотите, чтобы Google получал доступ к видеофайлам для внутренних R&D-задач — блокировка безопасна для позиций в поиске, поскольку к индексации этот краулер отношения не имеет
• Не режьте широкие диапазоны IP Google целиком — заденете и другие легитимные краулеры
• Не путайте с Googlebot Video — тот участвует в видео-функциях поисковой выдачи, а GoogleOther-Video — нет