В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а ArenaUnfurlBot с User-Agent arenaunfurlbot. Оператор здесь крупный и хорошо финансируемый: это Arena (бывшая LMArena, ранее Chatbot Arena) — платформа для сравнения и оценки AI-моделей, которую в мае 2025 года оценили в $600 млн после раунда на $100 млн, и которая привлекает более 10 млн пользователей в месяц.
1. Что такое ArenaUnfurlBot
Arena выросла из исследовательского проекта UC Berkeley (запущен в апреле 2023 года основателями Вэй-Линь Цзяном, Анастасиосом Ангелопулосом и Ионом Стойкой) в независимую компанию Arena Intelligence Inc. — крупнейшую площадку для «слепого» сравнения ответов AI-моделей, которой пользовались OpenAI, Google DeepMind и Anthropic для тестирования моделей перед релизом. ArenaUnfurlBot — их link preview-бот: когда пользователь платформы делится ссылкой в чате, комьюнити-обсуждении или другом разделе Arena, бот подтягивает title, description и превью-картинку страницы, чтобы показать карточку прямо в интерфейсе — типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов внутри платформы.
| Название | ArenaUnfurlBot |
| User-Agent / паттерн | arenaunfurlbot; соседний токен LMArenaUnfurlBot, вероятно, связан с прежним брендом платформы (LMArena → Arena, ребрендинг 2025 года) |
| Оператор | Arena (Arena Intelligence Inc.), ранее LMArena / Chatbot Arena — платформа сравнения AI-моделей |
| Роль | Забирает Open Graph/метаданные страницы для карточки предпросмотра ссылки, которой поделился пользователь внутри платформы Arena |
| Документация / ориентир | arena.ai — сайт компании; отдельной first-party страницы специально про бота для вебмастеров не найдено, но независимые каталоги ботов подтверждают оператора и назначение |
| Список IP | ❌ Официального списка IP не найдено — проверяйте по UA и поведению |
| robots.txt | Публичных данных о строгом соблюдении не найдено |
| Пометка TrafficVeil | Легитимный / Превью ссылок в соцсетях |
2. Зачем ArenaUnfurlBot приходит на сайт
По описанию независимых каталогов ботов, ArenaUnfurlBot ведёт себя как классический link preview-fetcher: появляется в течение секунд после того, как кто-то поделился вашим URL, забирает заголовок, описание и превью-изображение — и уходит. Важная деталь: бот не переходит по ссылкам со страницы дальше («no link following») — это одноразовый точечный запрос к конкретному URL, а не обход сайта.
- Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги;
- Что ищет: заголовок, описание и превью-картинку страницы для карточки внутри интерфейса Arena;
- Чем отличается от браузерного пользователя: нет нормальной сессии, один хит на один факт шеринга, без перехода по дальнейшим ссылкам.
Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по arenaunfurlbot показывает обращения на URL из шеринга — но стоит знать: если ссылка на вашу страницу разошлась широко внутри сообщества Arena (10+ млн пользователей в месяц), объём может быть куда заметнее, чем «пара запросов» — счёт может идти на тысячи обращений в час при вирусном распространении.
3. Нагрузка и риски именно для ArenaUnfurlBot
Отдельной строки в публичной сводке top-bot TrafficVeil у arenaunfurlbot может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи увидят «голую» ссылку без картинки и описания. Практический нюанс именно для Arena: платформа крупная (10+ млн пользователей в месяц), поэтому при действительно вирусном шеринге конкретной ссылки внутри комьюнити объём запросов от ArenaUnfurlBot может быть заметно выше типового для категории — это не постоянная фоновая нагрузка, а редкие, но потенциально интенсивные всплески.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти ArenaUnfurlBot в логах
Не ищите «просто ботов» — ищите конкретный токен arenaunfurlbot и рядом смотрите соседей по семейству, включая возможный прежний токен LMArenaUnfurlBot.
# Базовый поиск по обоим вариантам бренда платформы
grep -iE "arenaunfurlbot|lmarenaunfurlbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — проверьте на всплески при вирусном шеринге
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "arenaunfurlbot|bufferlinkpreviewbot|clickuplinkunfurler" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт. Официального списка IP не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + характерный паттерн — один хит на факт шеринга, без перехода по дальнейшим ссылкам страницы.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для ArenaUnfurlBot
# Жёсткий запрет
User-agent: arenaunfurlbot
Disallow: /
# Разрешить всё
User-agent: arenaunfurlbot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: arenaunfurlbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для arenaunfurlbot, только если превью в интерфейсе Arena принципиально не нужны. Учитывая масштаб платформы (10+ млн пользователей в месяц), сломанное превью может быть заметно большей аудитории, чем у менее крупных сервисов этой категории.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "arenaunfurlbot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_2a5d85116356_key {
default "";
"~*arenaunfurlbot" $binary_remote_addr;
}
limit_req_zone $tv_ng_2a5d85116356_key zone=tv_ng_2a5d85116356:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_2a5d85116356 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} arenaunfurlbot [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите arenaunfurlbot в ботах домена или в /system/bots;
- Для этой категории по умолчанию рекомендуется Allow — блокировка «на всякий случай» ломает карточки шеринга без реальной экономии ресурсов;
- Если нагрузка от вирусного всплеска реально мешает — используйте rate-limit, а не полный запрет, поскольку это обычно разовое, а не постоянное явление;
- После изменения сверьте логи, что превью корректно отображается при тестовом шеринге внутри Arena.
7. Рекомендации: что делать с ArenaUnfurlBot
- Ломаются карточки шеринга внутри крупного AI-комьюнити — блокируйте только если превью принципиально не нужны;
- Учитывайте масштаб платформы: при вирусном шеринге ссылки объём запросов может резко вырасти на короткое время — это не повод для полной блокировки, а повод для rate-limit;
- Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
- Что будет при блокировке: пользователи Arena увидят голую ссылку без картинки и описания при шеринге внутри платформы.
8. С кем не путать ArenaUnfurlBot
| Бот / сосед | Кластер | UA | Комментарий |
| LMArenaUnfurlBot | Превью ссылок в соцсетях | lmarenaunfurlbot | вероятно, тот же оператор под прежним брендом платформы (LMArena → Arena) |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | bufferlinkpreviewbot | легитимный, другой оператор (Buffer) |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | clickuplinkunfurler | легитимный, другой оператор (ClickUp) |
| Facebook External Hit | Превью ссылок в соцсетях | facebookexternalhit | легитимный |
| LinkTiger | Превью ссылок в соцсетях | linktiger | легитимный |
9. Стратегия allow/deny для ArenaUnfurlBot
| Ситуация | Действие |
| Стандартная ситуация — превью нужны для крупного AI-комьюнити | Allow по умолчанию |
| Превью в Arena принципиально не нужны | Disallow + запрет в TrafficVeil |
| Вирусный всплеск шеринга временно нагружает сервер | Rate-limit, не полная блокировка — явление обычно временное |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Смотреть паттерн запроса — точечный к одному URL без перехода по ссылкам; не доверять только строке UA |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
ArenaUnfurlBot связан с крупной компанией?
Почему объём запросов от этого бота иногда резко растёт?
Что лучше делать при таком всплеске — блокировать или ограничивать?
Переходит ли бот по ссылкам на странице дальше?
Связаны ли между собой ArenaUnfurlBot и LMArenaUnfurlBot?
Что теряет сайт при блокировке этого бота?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.