В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а ArenaUnfurlBot с User-Agent arenaunfurlbot. Оператор здесь крупный и хорошо финансируемый: это Arena (бывшая LMArena, ранее Chatbot Arena) — платформа для сравнения и оценки AI-моделей, которую в мае 2025 года оценили в $600 млн после раунда на $100 млн, и которая привлекает более 10 млн пользователей в месяц.
1. Что такое ArenaUnfurlBot
Arena выросла из исследовательского проекта UC Berkeley (запущен в апреле 2023 года основателями Вэй-Линь Цзяном, Анастасиосом Ангелопулосом и Ионом Стойкой) в независимую компанию Arena Intelligence Inc. — крупнейшую площадку для «слепого» сравнения ответов AI-моделей, которой пользовались OpenAI, Google DeepMind и Anthropic для тестирования моделей перед релизом. ArenaUnfurlBot — их link preview-бот: когда пользователь платформы делится ссылкой в чате, комьюнити-обсуждении или другом разделе Arena, бот подтягивает title, description и превью-картинку страницы, чтобы показать карточку прямо в интерфейсе — типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов внутри платформы.
| Название | ArenaUnfurlBot |
| User-Agent / паттерн | arenaunfurlbot; соседний токен LMArenaUnfurlBot, вероятно, связан с прежним брендом платформы (LMArena → Arena, ребрендинг 2025 года) |
| Оператор | Arena (Arena Intelligence Inc.), ранее LMArena / Chatbot Arena — платформа сравнения AI-моделей |
| Роль | Забирает Open Graph/метаданные страницы для карточки предпросмотра ссылки, которой поделился пользователь внутри платформы Arena |
| Документация / ориентир | arena.ai — сайт компании; отдельной first-party страницы специально про бота для вебмастеров не найдено, но независимые каталоги ботов подтверждают оператора и назначение |
| Список IP | ❌ Официального списка IP не найдено — проверяйте по UA и поведению |
| robots.txt | Публичных данных о строгом соблюдении не найдено |
| Пометка TrafficVeil | Легитимный / Превью ссылок в соцсетях |
2. Зачем ArenaUnfurlBot приходит на сайт
По описанию независимых каталогов ботов, ArenaUnfurlBot ведёт себя как классический link preview-fetcher: появляется в течение секунд после того, как кто-то поделился вашим URL, забирает заголовок, описание и превью-изображение — и уходит. Важная деталь: бот не переходит по ссылкам со страницы дальше («no link following») — это одноразовый точечный запрос к конкретному URL, а не обход сайта.
- Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги;
- Что ищет: заголовок, описание и превью-картинку страницы для карточки внутри интерфейса Arena;
- Чем отличается от браузерного пользователя: нет нормальной сессии, один хит на один факт шеринга, без перехода по дальнейшим ссылкам.
Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по arenaunfurlbot показывает обращения на URL из шеринга — но стоит знать: если ссылка на вашу страницу разошлась широко внутри сообщества Arena (10+ млн пользователей в месяц), объём может быть куда заметнее, чем «пара запросов» — счёт может идти на тысячи обращений в час при вирусном распространении.
3. Нагрузка и риски именно для ArenaUnfurlBot
Отдельной строки в публичной сводке top-bot TrafficVeil у arenaunfurlbot может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи увидят «голую» ссылку без картинки и описания. Практический нюанс именно для Arena: платформа крупная (10+ млн пользователей в месяц), поэтому при действительно вирусном шеринге конкретной ссылки внутри комьюнити объём запросов от ArenaUnfurlBot может быть заметно выше типового для категории — это не постоянная фоновая нагрузка, а редкие, но потенциально интенсивные всплески.
4. Как найти ArenaUnfurlBot в логах
Не ищите «просто ботов» — ищите конкретный токен arenaunfurlbot и рядом смотрите соседей по семейству, включая возможный прежний токен LMArenaUnfurlBot.
# Базовый поиск по обоим вариантам бренда платформы
grep -iE "arenaunfurlbot|lmarenaunfurlbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — проверьте на всплески при вирусном шеринге
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "arenaunfurlbot|bufferlinkpreviewbot|clickuplinkunfurler" /var/log/nginx/access.log | wc -lВерификация. Подделать User-Agent может любой скрипт. Официального списка IP не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + характерный паттерн — один хит на факт шеринга, без перехода по дальнейшим ссылкам страницы.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для ArenaUnfurlBot
# Жёсткий запрет
User-agent: arenaunfurlbot
Disallow: /
# Разрешить всё
User-agent: arenaunfurlbot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: arenaunfurlbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: ставьте Disallow или 403 для arenaunfurlbot, только если превью в интерфейсе Arena принципиально не нужны. Учитывая масштаб платформы (10+ млн пользователей в месяц), сломанное превью может быть заметно большей аудитории, чем у менее крупных сервисов этой категории.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "arenaunfurlbot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=arenaunfurlbot:10m rate=10r/m;
location / {
if ($http_user_agent ~* "arenaunfurlbot") {
limit_req zone=arenaunfurlbot burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} arenaunfurlbot [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите arenaunfurlbot в ботах домена или в /system/bots;
- Для этой категории по умолчанию рекомендуется Allow — блокировка «на всякий случай» ломает карточки шеринга без реальной экономии ресурсов;
- Если нагрузка от вирусного всплеска реально мешает — используйте rate-limit, а не полный запрет, поскольку это обычно разовое, а не постоянное явление;
- После изменения сверьте логи, что превью корректно отображается при тестовом шеринге внутри Arena.
7. Рекомендации: что делать с ArenaUnfurlBot
- Ломаются карточки шеринга внутри крупного AI-комьюнити — блокируйте только если превью принципиально не нужны;
- Учитывайте масштаб платформы: при вирусном шеринге ссылки объём запросов может резко вырасти на короткое время — это не повод для полной блокировки, а повод для rate-limit;
- Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
- Что будет при блокировке: пользователи Arena увидят голую ссылку без картинки и описания при шеринге внутри платформы.
8. С кем не путать ArenaUnfurlBot
| Бот / сосед | Кластер | UA | Комментарий |
| LMArenaUnfurlBot | Превью ссылок в соцсетях | lmarenaunfurlbot | вероятно, тот же оператор под прежним брендом платформы (LMArena → Arena) |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | bufferlinkpreviewbot | легитимный, другой оператор (Buffer) |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | clickuplinkunfurler | легитимный, другой оператор (ClickUp) |
| Facebook External Hit | Превью ссылок в соцсетях | facebookexternalhit | легитимный |
| LinkTiger | Превью ссылок в соцсетях | linktiger | легитимный |
9. Стратегия allow/deny для ArenaUnfurlBot
| Ситуация | Действие |
| Стандартная ситуация — превью нужны для крупного AI-комьюнити | Allow по умолчанию |
| Превью в Arena принципиально не нужны | Disallow + запрет в TrafficVeil |
| Вирусный всплеск шеринга временно нагружает сервер | Rate-limit, не полная блокировка — явление обычно временное |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Смотреть паттерн запроса — точечный к одному URL без перехода по ссылкам; не доверять только строке UA |