GoogleOther — common crawler Google для разных продуктовых/R&D задач вне основного поиска. Официально: preferences для GoogleOther не влияют на конкретный продукт вроде Search; это generic fetch публичного контента. По официальной формулировке Google, краулер используется в том числе для «разовых обходов в целях внутренних исследований и разработки» — этим объясняется его нерегулярное, менее предсказуемое поведение по сравнению с системным обходом Googlebot. Не путать с Googlebot: закрытие GoogleOther ≠ выход из выдачи Google.
Параметры
| Параметр | Значение |
|---|---|
| UA | ... (compatible; GoogleOther) (desktop/mobile варианты Chrome-like) |
| Токен robots | GoogleOther |
| Docs | Google common crawlers |
| Семья | GoogleOther-Image, GoogleOther-Video |
| IP / rDNS | Как у common crawlers: common-crawlers.json; crawl-*.googlebot.com / geo-crawl-*.geo.googlebot.com |
| robots.txt | Да (автоматические обходы); по умолчанию для этих краулеров ограничений нет, пока вебмастер явно не пропишет Disallow |
Почему визиты GoogleOther выглядят нерегулярными
Официальная документация прямо называет одно из назначений GoogleOther — разовые обходы для внутренних исследований и разработки разных команд внутри Google. В отличие от Googlebot, который обходит сайт системно и предсказуемо ради поддержания актуальности поискового индекса, GoogleOther может внезапно активизироваться под конкретную внутреннюю задачу, а затем надолго затихнуть — это не сбой и не признак чего-то подозрительного, а нормальная особенность его назначения.
Реальные «соседи» из той же официальной таблицы common crawlers
Полезно знать пару других краулеров из того же официального списка Google, которые, как и GoogleOther, не влияют на обычную органическую выдачу напрямую:
- Storebot-Google — токен, преференции для которого влияют конкретно на поверхности Google Shopping (включая вкладку Shopping в Google Search)
- Google-InspectionTool — используется инструментами вроде проверки конкретного URL в Search Console, а не общей индексацией
Каждый из этих краулеров решает узкую, отдельную от классического поиска задачу — та же логика, что и у GoogleOther.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Нагрузка
По сводке TrafficVeil — порядка 2,4 тысячи запросов.
Контроль
grep -i "GoogleOther" /var/log/nginx/access.logUser-agent: GoogleOther
Disallow: /
User-agent: GoogleOther-Image
Disallow: /
User-agent: GoogleOther-Video
Disallow: /Рекомендации
- Не хотите отдавать контент в несвязанные с Search обходы Google — Disallow GoogleOther*
- Не трогайте Googlebot теми же правилами, если нужен Search — это разные токены с разными последствиями блокировки
- Верификация как у Googlebot (IP/rDNS) — проверяйте через common-crawlers.json и reverse DNS, не доверяйте одной строке UA
Частые вопросы
Почему GoogleOther иногда обходит сайт активно, а потом надолго пропадает?
Повлияет ли блокировка GoogleOther на позиции сайта в Google Search?
Что за токены Storebot-Google и Google-InspectionTool?
Действуют ли ограничения для GoogleOther по умолчанию?
Как проверить, что запрос действительно от GoogleOther?
Нужно ли блокировать GoogleOther-Image и GoogleOther-Video отдельно от основного GoogleOther?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.