LMArenaUnfurlBot: превью-бот известной AI-арены

Черновик в целом правильно описал природу LMArenaUnfurlBot как fetcher превью-ссылок — редкий случай в этой серии, где базовая классификация не потребовала серьёзной правки. Но у бота нашёлся конкретный, узнаваемый оператор: это LMArena (Arena Intelligence, Inc.) — одна из самых известных и авторитетных площадок для сравнения AI-моделей, с которой сотрудничают OpenAI, Google DeepMind и Anthropic.

1. Что такое LMArenaUnfurlBot на самом деле

LMArena (изначально Chatbot Arena, проект LMSYS из UC Berkeley, запущен в апреле 2023 года основателями Wei-Lin Chiang, Anastasios N. Angelopoulos и Ion Stoica) — публичная платформа для слепого сравнения языковых моделей: пользователь отправляет промпт, получает ответы от двух анонимных моделей и голосует за лучший, после чего названия моделей раскрываются. Крупные AI-лаборатории (OpenAI, Google DeepMind, Anthropic и другие) присылают свои модели для оценки, а платформу нередко используют для предрелизных показов — например, там тестировались ранние версии GPT-5 и моделей DeepSeek до их публичного анонса.

Официальный User-Agent прямо называет и назначение, и оператора:

LMArenaUnfurlBot/1.0 (Link preview bot for AI model comparison platform; +https://lmarena.ai) Mozilla/5.0 (compatible)

Функция бота — стандартный unfurl-fetcher: когда пользователь делится ссылкой на вашу страницу в контексте платформы LMArena (например, в обсуждении, комментарии или интеграции с чатом), бот забирает Open Graph-метаданные — заголовок, описание, изображение — чтобы построить превью-карточку, аналогично тому, как это делают Facebook External Hit или Twitterbot для своих платформ.

2. Зачем LMArenaUnfurlBot приходит на сайт

• кто-то поделился ссылкой на вашу страницу в контексте LMArena — например, в обсуждении результатов сравнения моделей, где упомянут внешний источник;
• ссылка используется как часть промпта или контекста в одном из режимов платформы, где предусмотрен показ превью внешнего контента;
• как и у большинства unfurl-ботов, обращение разовое и привязано к конкретному действию пользователя платформы, а не к фоновому системному обходу сайта.

Типичный кейс: единичный запрос к конкретной странице без последующего обхода остального сайта — стандартное поведение fetcher-а, срабатывающего по факту того, что кто-то на LMArena сослался именно на эту страницу.

3. Нагрузка и риски

Нагрузка ожидаемо минимальна — это разовые точечные запросы, а не системный краулинг каталога или блога. Поскольку LMArena — известная, авторитетная и активно растущая платформа (сотрудничество с крупнейшими AI-лабораториями, миллионы пользовательских сравнений), для сайтов, связанных с AI-тематикой, аналитикой моделей или технологическим контентом, присутствие в её экосистеме потенциально может быть источником релевантного реферального трафика — так же, как для большинства других легитимных fetcher-ов превью.

Практический риск при блокировке стандартный для этой категории: пользователи, которые видят вашу ссылку в контексте LMArena, получат «голую» ссылку без заголовка, описания и изображения — что снижает вероятность перехода.

4. Как найти LMArenaUnfurlBot в логах

# Базовый поиск
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — ожидаемо эпизодическая, не системный фон
grep -i "lmarenaunfurlbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального криптографического способа подтверждения подлинности не найдено — для решения allow/deny смотрите связку UA + IP/ASN + характерный разовый паттерн запроса:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для LMArenaUnfurlBot

# Жёсткий запрет
User-agent: LMArenaUnfurlBot
Disallow: /

# Разрешить всё — рекомендуемый вариант по умолчанию
User-agent: LMArenaUnfurlBot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку доступной для превью
User-agent: LMArenaUnfurlBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "lmarenaunfurlbot") {
    return 403;
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} lmarenaunfurlbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите lmarenaunfurlbot в разделе ботов домена или в /system/bots;
• для подавляющего большинства сайтов — allow обоснован по умолчанию, поскольку нагрузка минимальна, а блокировка мешает корректному отображению ссылки в контексте авторитетной AI-платформы;
• причины для deny здесь скорее исключение — например, если сайт принципиально не хочет фигурировать в контексте AI-инструментов;
• после изменения сверьте логи: хиты должны уйти в блок, а нужные поисковики остаться без изменений.

7. Что делать: короткий алгоритм

• Стандартная рекомендация — allow: нагрузка минимальна, а польза (корректное превью в контексте известной платформы) реальна;
• Сайт связан с AI/tech-тематикой — присутствие в экосистеме LMArena может быть релевантным источником трафика, аналогично другим fetcher-ам превью;
• Специально блокировать имеет смысл только в очень специфичных сценариях — например, принципиальный отказ фигурировать в AI-контексте;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. С кем не путать LMArenaUnfurlBot

9. Стратегия allow/deny для LMArenaUnfurlBot