Google-Extended — это не отдельный User-Agent в access.log. По документации Google это standalone product token в robots.txt: им управляют, можно ли использовать уже прокрауленный контент для обучения/grounding Gemini (Gemini Apps, Vertex AI / Gemini Enterprise Agent Platform) и связанных сценариев. Фактический HTTP-обход делают другие Google crawlers (Googlebot и пр.). Disallow Google-Extended не выкидывает сайт из Google Search и не является ranking-сигналом.
Параметры
| Параметр | Значение |
|---|---|
| В логах | ❌ отдельного UA обычно нет — токен использует существующие строки Googlebot, своего HTTP-запроса не делает |
| Токен robots | Google-Extended |
| Появился | 28 сентября 2023 года — как ответ на запросы издателей о раздельном контроле над использованием контента для ИИ |
| Docs | Google common crawlers (секция Google-Extended) |
| Влияет на Search? | Нет |
| Контролирует | Обучение будущих поколений моделей Gemini; grounding в Gemini Apps; grounding в Google Search на Vertex AI / Gemini Enterprise Agent Platform (по актуальным формулировкам Google) |
Частое заблуждение: это не про AI Overviews в самом поиске
Важно разделять два разных механизма, которые легко перепутать. Google-Extended не управляет тем, попадает ли сайт в AI Overviews или AI Mode внутри обычной выдачи Google Search — это регулируется правилами для самого Googlebot, а не этим токеном. Заблокировав Google-Extended, вы не исчезнете из AI-ответов прямо в поиске. Если задача — не появляться именно в сниппетах и AI Overviews поисковой выдачи, нужен другой инструмент — мета-тег nosnippet. Но это куда более радикальный шаг: он одновременно убирает и обычный текстовый сниппет из классических результатов поиска, что напрямую бьёт по кликабельности (CTR) — используйте его осознанно, а не как замену Google-Extended.
Компромисс: что реально выигрывается и теряется
Разрешение Google-Extended создаёт потенциальный — не гарантированный — канал реферального трафика: если grounded-ответы в Gemini Apps или Vertex AI процитируют или сошлются на контент сайта, это может привести читателя на исходную страницу. Блокировка ничего не меняет в позициях классического поиска, но убирает контент именно из этих ИИ-сценариев использования.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
«Нагрузка» в сводке
В bots-summary токен мог попасть как метка политики; отдельного краул-объёма Google-Extended ждать не стоит. Смотрите Googlebot / GoogleOther и т.д. — реальный трафик идёт под их именами.
Контроль
# Полный запрет
User-agent: Google-Extended
Disallow: /
# Search при этом:
User-agent: Googlebot
Allow: /Точечный вариант — если нужно закрыть от Gemini только часть сайта, а не всё целиком:
User-agent: Google-Extended
Disallow: /blog/
Disallow: /research/
Allow: /docs/- Не хотите контент в Gemini/Vertex сценариях (по модели Google) — Disallow Google-Extended
- Нужен Search — не путайте с Disallow Googlebot; это разные секции с разными последствиями
- В Nginx «банить Google-Extended по UA» бессмысленно — его там обычно нет, это чисто декларативный robots-токен, а не HTTP-клиент
- Список продуктов, на которые распространяется токен, может меняться — периодически сверяйтесь с актуальной документацией Google, а не считайте правило раз и навсегда зафиксированным
Частые вопросы
Появляется ли Google-Extended как отдельная строка в access.log?
Уберёт ли блокировка Google-Extended сайт из AI Overviews в поиске Google?
Как тогда не появляться в сниппетах и AI Overviews поисковой выдачи?
На что именно распространяется Google-Extended сейчас?
Когда появился этот токен?
Что теряет и выигрывает сайт при разрешении Google-Extended?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.