xAI-SearchBot — заявленный идентификатор краулера xAI (Grok) для сценариев AI-search / grounding ответов. Официально упоминаемый UA содержит xAI-SearchBot и +https://x.ai. Не Googlebot; не влияет на классический Google ranking. Прежде чем полагаться на стандартные методы контроля, важно понимать: это один из самых сложных для управления AI-краулеров на рынке — и не по техническим причинам, а из-за задокументированного намеренного сокрытия идентичности.
Параметры
| Параметр | Значение |
|---|---|
| Заявленный UA | Mozilla/5.0 (compatible; xAI-SearchBot/1.0; +https://x.ai); также упоминаются GrokBot/1.0 и Grok-DeepSearch/1.0 |
| Токен robots | xAI-SearchBot (+ иногда обсуждают GrokBot / xAI-Grok — проверяйте логи) |
| Оператор | xAI |
| Официальная документация | ❌ Отдельной страницы документации по краулерам xAI не публикует вообще — это подтверждено независимой сверкой с первичными источниками по всем крупным AI-краулерам рынка |
| IP / rDNS | ❌ Публичного JSON/стабильного rDNS нет; трафик, по независимым наблюдениям, идёт через ротацию прокси/резидентных IP — сегодняшний список адресов завтра уже неактуален |
| Риск | Задокументированы многочисленные случаи, когда live-fetch Grok идёт под обычными browser/Go UA вместо заявленного токена — вплоть до признания самим Grok факта намеренной маскировки при прямом вопросе об этом |
«Intentionally spoofs» — признание, а не предположение
Один из независимых исследователей, отслеживающих десятки AI-ботов, напрямую спросил Grok о несоответствии между заявленным UA и реальным поведением трафика. Ответ Grok содержал прямое признание: краулер намеренно подделывает свою идентификацию. Это не догадка стороннего наблюдателя, а формулировка самой системы. Практические тесты подтверждают это поведение конкретными цифрами: при запросе к Grok прочитать содержимое страницы на сайт приходило до 30 запросов в течение одной секунды — все под видом обычного браузера. Характерные признаки подмены: заведомо устаревшая версия Chrome в UA (например, Chrome/139, когда актуальная версия давно ушла вперёд — реальные браузеры сами обновляются и такого разрыва не показывают), маскировка под iPhone Safari, либо прямолинейная строка вроде Go-http-client/1.1. Ни в одном из задокументированных случаев трафик не представлялся как GrokBot, xAI-Grok или xAI-SearchBot.
Почему блокировка по UA — это по сути символический жест
Независимый трекер, анализирующий трафик множества сайтов, прямо пишет: несмотря на то, что GrokBot числится в его базе как официально задокументированный токен (потому что xAI где-то это имя упоминала), ни разу за всё время наблюдений бот не представился этим именем на практике. Итоговая формулировка того же источника — блокировка «GrokBot» в robots.txt является театром, а не реальной защитой. Это ставит операторов сайтов в непривычную ситуацию: обычно классификация по User-Agent — рабочий базовый инструмент, но здесь она создаёт «слепую зону» размером со всю краулинговую активность xAI, поскольку с точки зрения владельца сайта запросы Grok выглядят просто как неопознанный браузерный трафик, без какого-либо AI-bot сигнала для реакции.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Практика
Disallow xAI-SearchBot — правильный формальный шаг для заявленного краулера, но не гарантирует остановку fetch-запросов от продуктов Grok, если реальный клиент не отправляет этот UA (а по имеющимся данным — чаще всего не отправляет). Для содержательного контроля нужны не дополнения к robots.txt, а полноценная замена подхода: rate-limit, challenge-страницы, поведенческие правила в TrafficVeil.
На что смотреть при поведенческом анализе
- Аномальная скорость запросов: десятки хитов за одну-две секунды на разные URL одного сайта — не характерно для живого пользователя
- Несоответствие версии браузера в UA: заметно устаревшая версия Chrome/Safari, которая не должна встречаться у реально обновляющихся браузеров
- Датацентровое происхождение IP при браузерном UA: реальный пользователь с iPhone не заходит с адресов облачных дата-центров
- Систематический, методичный порядок обхода URL — паттерн, нетипичный для человека, кликающего по интерфейсу
Эти сигналы в совокупности надёжнее любого совпадения строки UA — которую, как показывает практика, здесь просто нет смысла проверять как единственный критерий.
Нагрузка
По сводке TrafficVeil паттерн xai-searchbot — порядка 4 тысяч запросов. Учитывая задокументированную маскировку, эта цифра почти наверняка отражает лишь ту часть трафика Grok, которая случайно или по ошибке представилась official UA, — то есть, вероятно, лишь небольшую долю реальной активности.
Контроль
grep -i "xAI-SearchBot\|xAI-Grok\|GrokBot" /var/log/nginx/access.logUser-agent: xAI-SearchBot
Disallow: /if ($http_user_agent ~* "xAI-SearchBot") {
return 403;
}Рекомендации
- Нужны цитирования в Grok — Allow заявленный UA как формальный сигнал доброй воли, но не рассчитывайте, что это охватывает весь реальный трафик продукта
- Opt-out — Disallow + edge deny обязательны, но недостаточны сами по себе; основной упор делайте на поведенческие правила и мониторинг аномального browser-подобного трафика
- Если для сайта критично не отдавать контент продуктам Grok — рассматривайте это как задачу поведенческой детекции с самого начала, а не как задачу «настроить robots.txt правильно»
- На Google не влияет
Частые вопросы
Правда ли, что Grok сам признал маскировку своего краулера?
Под каким UA реально приходят запросы от Grok, если не под заявленным xAI-SearchBot?
Публикует ли xAI официальную документацию по своим краулерам?
Работает ли блокировка GrokBot через robots.txt на практике?
Можно ли положиться на блокировку по IP-адресам?
Что реально работает для контроля этого трафика?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.