Черновик в целом правильно описал природу LMArenaUnfurlBot как fetcher превью-ссылок — редкий случай в этой серии, где базовая классификация не потребовала серьёзной правки. Но у бота нашёлся конкретный, узнаваемый оператор: это LMArena (Arena Intelligence, Inc.) — одна из самых известных и авторитетных площадок для сравнения AI-моделей, с которой сотрудничают OpenAI, Google DeepMind и Anthropic.
1. Что такое LMArenaUnfurlBot на самом деле
LMArena (изначально Chatbot Arena, проект LMSYS из UC Berkeley, запущен в апреле 2023 года основателями Wei-Lin Chiang, Anastasios N. Angelopoulos и Ion Stoica) — публичная платформа для слепого сравнения языковых моделей: пользователь отправляет промпт, получает ответы от двух анонимных моделей и голосует за лучший, после чего названия моделей раскрываются. Крупные AI-лаборатории (OpenAI, Google DeepMind, Anthropic и другие) присылают свои модели для оценки, а платформу нередко используют для предрелизных показов — например, там тестировались ранние версии GPT-5 и моделей DeepSeek до их публичного анонса.
Официальный User-Agent прямо называет и назначение, и оператора:
LMArenaUnfurlBot/1.0 (Link preview bot for AI model comparison platform; +https://lmarena.ai) Mozilla/5.0 (compatible)Функция бота — стандартный unfurl-fetcher: когда пользователь делится ссылкой на вашу страницу в контексте платформы LMArena (например, в обсуждении, комментарии или интеграции с чатом), бот забирает Open Graph-метаданные — заголовок, описание, изображение — чтобы построить превью-карточку, аналогично тому, как это делают Facebook External Hit или Twitterbot для своих платформ.
| Параметр | Значение |
| Название | LMArenaUnfurlBot |
| Оператор | LMArena / Arena Intelligence, Inc. — платформа сравнения AI-моделей, ранее Chatbot Arena (проект LMSYS, UC Berkeley) |
| Роль | Fetcher превью-ссылок — забирает Open Graph-метаданные при упоминании/шеринге ссылки в контексте платформы LMArena |
| User-Agent / паттерн | LMArenaUnfurlBot/1.0 (Link preview bot for AI model comparison platform; +https://lmarena.ai) |
| Официальный сайт | lmarena.ai (ранее также известен как arena.ai) |
| robots.txt | Подтверждённых данных о соблюдении нет — как и у большинства fetcher-ов, полагаться стоит на серверную блокировку при необходимости |
| Пометка TrafficVeil | Легитимный / Превью ссылок в соцсетях |
2. Зачем LMArenaUnfurlBot приходит на сайт
- кто-то поделился ссылкой на вашу страницу в контексте LMArena — например, в обсуждении результатов сравнения моделей, где упомянут внешний источник;
- ссылка используется как часть промпта или контекста в одном из режимов платформы, где предусмотрен показ превью внешнего контента;
- как и у большинства unfurl-ботов, обращение разовое и привязано к конкретному действию пользователя платформы, а не к фоновому системному обходу сайта.
Типичный кейс: единичный запрос к конкретной странице без последующего обхода остального сайта — стандартное поведение fetcher-а, срабатывающего по факту того, что кто-то на LMArena сослался именно на эту страницу.
3. Нагрузка и риски
Нагрузка ожидаемо минимальна — это разовые точечные запросы, а не системный краулинг каталога или блога. Поскольку LMArena — известная, авторитетная и активно растущая платформа (сотрудничество с крупнейшими AI-лабораториями, миллионы пользовательских сравнений), для сайтов, связанных с AI-тематикой, аналитикой моделей или технологическим контентом, присутствие в её экосистеме потенциально может быть источником релевантного реферального трафика — так же, как для большинства других легитимных fetcher-ов превью.
Практический риск при блокировке стандартный для этой категории: пользователи, которые видят вашу ссылку в контексте LMArena, получат «голую» ссылку без заголовка, описания и изображения — что снижает вероятность перехода.
4. Как найти LMArenaUnfurlBot в логах
# Базовый поиск
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — ожидаемо эпизодическая, не системный фон
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация. Строку UA подделать может любой скрипт. Официального криптографического способа подтверждения подлинности не найдено — для решения allow/deny смотрите связку UA + IP/ASN + характерный разовый паттерн запроса:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для LMArenaUnfurlBot
# Жёсткий запрет
User-agent: LMArenaUnfurlBot
Disallow: /
# Разрешить всё — рекомендуемый вариант по умолчанию
User-agent: LMArenaUnfurlBot
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку доступной для превью
User-agent: LMArenaUnfurlBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "lmarenaunfurlbot") {
return 403;
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} lmarenaunfurlbot [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- найдите lmarenaunfurlbot в разделе ботов домена или в /system/bots;
- для подавляющего большинства сайтов — allow обоснован по умолчанию, поскольку нагрузка минимальна, а блокировка мешает корректному отображению ссылки в контексте авторитетной AI-платформы;
- причины для deny здесь скорее исключение — например, если сайт принципиально не хочет фигурировать в контексте AI-инструментов;
- после изменения сверьте логи: хиты должны уйти в блок, а нужные поисковики остаться без изменений.
7. Что делать: короткий алгоритм
- Стандартная рекомендация — allow: нагрузка минимальна, а польза (корректное превью в контексте известной платформы) реальна;
- Сайт связан с AI/tech-тематикой — присутствие в экосистеме LMArena может быть релевантным источником трафика, аналогично другим fetcher-ам превью;
- Специально блокировать имеет смысл только в очень специфичных сценариях — например, принципиальный отказ фигурировать в AI-контексте;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. С кем не путать LMArenaUnfurlBot
| Бот / сосед | Кластер | Комментарий |
| ArenaUnfurlBot | Превью ссылок в соцсетях | легитимный — стоит уточнить, не относится ли эта запись к той же платформе LMArena под другим названием, или это отдельный сервис |
| Facebook External Hit | Превью ссылок в соцсетях | легитимный, та же механика unfurl для другой платформы |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | легитимный |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | легитимный |
9. Стратегия allow/deny для LMArenaUnfurlBot
| Ситуация | Действие |
| Стандартный сайт без особых ограничений | Allow — минимальная нагрузка, реальная польза от корректного превью |
| Сайт в AI/tech-тематике | Allow — потенциально релевантный источник реферального трафика |
| Принципиальный отказ фигурировать в AI-контексте | Disallow — осознанный редкий сценарий |
| Нагрузка неожиданно высокая для fetcher-а такого типа | Проверить, не идёт ли трафик от подделки UA, прежде чем менять политику |
| Подозрение на spoofing UA | Не доверять строке UA целиком; смотреть IP/ASN и разовый характер запроса |