Twitterbot — один из самых узнаваемых и однозначно легитимных ботов в этой энциклопедии, но у него есть актуальный на 2026 год нюанс, которого не было в черновике: с мая 2025 года X (бывший Twitter) официально стал дочерней компанией xAI Holdings — той же компании, что разрабатывает языковую модель Grok. Это создаёт новый вопрос, которого не существовало, пока Twitter был независимой платформой: не может ли под тем же UA или с тех же сетей X теперь идти ещё и сбор данных для обучения Grok.
1. Что такое Twitterbot на самом деле
Twitterbot — официальный краулер X для формирования Twitter/X Card: превью-карточки с заголовком, описанием и изображением, которая появляется при публикации ссылки в посте. Официальная строка UA включает версию: Twitterbot/1.0.
По официальной документации X for Developers, Twitterbot реализует спецификацию robots.txt Google — то есть, в отличие от многих других ботов в этой энциклопедии, здесь файл действительно работает штатно, и сама X прямо инструктирует владельцев сайтов добавлять исключение User-agent: Twitterbot при проблемах с отображением карточки. Отдельное техническое требование: краулер X использует TLS v1.1 или выше — устаревшая SSL-конфигурация сайта сама по себе может быть причиной, по которой карточка не формируется, даже без каких-либо блокировок.
| Параметр | Значение |
| Название | Twitterbot |
| Оператор | X (бывший Twitter); с мая 2025 года X формально входит в состав xAI Holdings |
| Роль | Формирование превью-карточки (Card) при публикации ссылки на платформе |
| User-Agent / паттерн | Twitterbot/1.0 |
| robots.txt | Официально реализует спецификацию Google — файл действительно работает, в отличие от многих других записей энциклопедии |
| Верификация по IP | Официального списка IP-адресов X не публикует — это прямо подтверждено в официальном форуме разработчиков X: «нет точной информации об IP краулера Twitterbot» |
| Требование к серверу | TLS v1.1 или выше — иначе краулер не сможет получить доступ к странице |
| Актуальный на 2026 год риск | С учётом вхождения X в xAI, сети X теоретически могут нести и трафик для обучения Grok — отдельного официально задокументированного UA для такого краулинга по состоянию на середину 2026 года нет |
| Пометка TrafficVeil | Легитимный / Превью ссылок в соцсетях |
2. Зачем Twitterbot приходит на сайт
- пользователь X опубликовал или собирается опубликовать ссылку на вашу страницу — краулер получает Open Graph/Twitter Card метатеги для формирования превью;
- Twitter Card Validator — официальный инструмент X для предпросмотра карточки — тоже использует Twitterbot-подобный UA при ручной проверке владельцем сайта;
- кэш карточки истекает примерно через 7 дней, после чего при новом упоминании ссылки бот запрашивает страницу заново.
Типичный кейс: разовый или редкий запрос к конкретному URL сразу после того, как на него кто-то сослался в посте на платформе — стандартное поведение fetcher-а превью, ничем не отличающееся по механике от Facebook External Hit.
3. Нагрузка и риски
Нагрузка минимальна и предсказуема — разовые точечные запросы, привязанные к реальным публикациям на платформе. Практический риск при блокировке стандартный для категории: пользователи, делящиеся вашей ссылкой на X, получат «голую» ссылку без изображения и описания, что снижает click-through по репостам.
Отдельный, более новый риск стоит обозначить явно: поскольку X с 2025 года принадлежит xAI, а официального отдельного UA для краулинга под нужды Grok не задокументировано, теоретически с тех же IP-диапазонов X может идти не только Card-фетчинг, но и сбор данных для обучения модели — под тем же Twitterbot или вовсе под обычным браузерным UA. Если сайт хочет сохранить превью-карточки в X, но обеспокоен потенциальным AI-обучением на своём контенте, блокировка по одному лишь UA Twitterbot эту вторую задачу не решит — потребуется блокировка по диапазонам ASN, принадлежащих X, что затронет и легитимный Card-трафик тоже.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти Twitterbot в логах
# Базовый поиск
grep -i "twitterbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "twitterbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "twitterbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "twitterbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Проверка TLS-совместимости (если карточки не формируются)
curl -sv --tlsv1.1 https://ваш-домен/страница 2>&1 | grep -i "SSL connection"
Верификация. Официального списка IP X не публикует — это прямо подтверждено на форуме разработчиков X. Единственный практический путь — сверять запросы с известными ASN, принадлежащими X/Twitter, учитывая, что этот же диапазон сетей мог начать нести дополнительный трафик после интеграции с xAI:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для Twitterbot
# Жёсткий запрет — сломает формирование Card-превью
User-agent: Twitterbot
Disallow: /
# Разрешить всё — рекомендуемый вариант по умолчанию, официально задокументирован самой X
User-agent: Twitterbot
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку доступной для карточек
User-agent: Twitterbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "twitterbot") {
return 403;
}
Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} twitterbot [NC]
RewriteRule ^ - [F,L]
TrafficVeil:
- найдите twitterbot в разделе ботов домена или в /system/bots;
- для подавляющего большинства сайтов — allow обоснован по умолчанию: нагрузка минимальна, а блокировка портит отображение ссылок на платформе X;
- если цель — именно ограничить потенциальный AI-training трафик, а не сломать карточки, работайте на уровне ASN X, а не по UA Twitterbot;
- после изменения сверьте логи: хиты должны уйти в блок, а нужные поисковики остаться без изменений.
7. Что делать: короткий алгоритм
- Стандартная рекомендация — allow: нагрузка минимальна, а польза (корректное превью на X) реальна;
- Карточки не формируются, хотя бот не заблокирован — проверьте версию TLS на сервере и валидность og:image/twitter:image, прежде чем подозревать блокировку;
- Беспокоитесь именно об AI-обучении на контенте после интеграции X с xAI — учитывайте, что блокировка по UA не решает эту задачу, нужна работа с ASN;
- Специально блокировать Twitterbot целиком имеет смысл только в редких случаях, когда сайт принципиально не хочет формировать превью для этой платформы;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. С кем не путать Twitterbot
| Бот / сосед | Кластер | Комментарий |
| Facebook External Hit | Превью ссылок в соцсетях | легитимный, та же механика unfurl для другой платформы, но с публикуемым и регулярно обновляемым списком IP — в отличие от X |
| LMArenaUnfurlBot | Превью ссылок в соцсетях | легитимный, UA прямо содержит ссылку на документацию оператора |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | легитимный |
| Grok (потенциальный AI-краулер xAI) | Не задокументирован официально по состоянию на 2026 год | Отдельного публичного UA нет — теоретический трафик может маскироваться под Twitterbot или обычный браузер в сетях X |
9. Стратегия allow/deny для Twitterbot
| Ситуация | Действие |
| Стандартный сайт, нужны корректные превью на X | Allow — минимальная нагрузка, реальная польза |
| Карточки не формируются | Проверить версию TLS и валидность мета-тегов, прежде чем подозревать блокировку |
| Беспокойство об AI-обучении Grok на контенте сайта | Блокировка по UA не решает задачу — рассматривать ограничение по ASN X, с пониманием, что это также затронет Card-фетчинг |
| Принципиальный отказ от присутствия на платформе X | Disallow — осознанный редкий сценарий |
| Подозрение на spoofing UA | Официального способа верификации по IP нет; полагаться на ASN и общий поведенческий паттерн |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Twitterbot действительно соблюдает robots.txt?
Можно ли проверить подлинность запроса от Twitterbot по IP?
Почему карточка иногда не формируется, хотя бот не заблокирован?
Связан ли Twitterbot с обучением модели Grok?
Как ограничить потенциальный AI-трафик, не сломав карточки на X?
Стоит ли вообще блокировать Twitterbot?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.