ArenaUnfurlBot в логах: превью для крупнейшей AI-арены

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а ArenaUnfurlBot с User-Agent arenaunfurlbot. Оператор здесь крупный и хорошо финансируемый: это Arena (бывшая LMArena, ранее Chatbot Arena) — платформа для сравнения и оценки AI-моделей, которую в мае 2025 года оценили в $600 млн после раунда на $100 млн, и которая привлекает более 10 млн пользователей в месяц.

1. Что такое ArenaUnfurlBot

Arena выросла из исследовательского проекта UC Berkeley (запущен в апреле 2023 года основателями Вэй-Линь Цзяном, Анастасиосом Ангелопулосом и Ионом Стойкой) в независимую компанию Arena Intelligence Inc. — крупнейшую площадку для «слепого» сравнения ответов AI-моделей, которой пользовались OpenAI, Google DeepMind и Anthropic для тестирования моделей перед релизом. ArenaUnfurlBot — их link preview-бот: когда пользователь платформы делится ссылкой в чате, комьюнити-обсуждении или другом разделе Arena, бот подтягивает title, description и превью-картинку страницы, чтобы показать карточку прямо в интерфейсе — типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов внутри платформы.

2. Зачем ArenaUnfurlBot приходит на сайт

По описанию независимых каталогов ботов, ArenaUnfurlBot ведёт себя как классический link preview-fetcher: появляется в течение секунд после того, как кто-то поделился вашим URL, забирает заголовок, описание и превью-изображение — и уходит. Важная деталь: бот не переходит по ссылкам со страницы дальше («no link following») — это одноразовый точечный запрос к конкретному URL, а не обход сайта.

• Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги;
• Что ищет: заголовок, описание и превью-картинку страницы для карточки внутри интерфейса Arena;
• Чем отличается от браузерного пользователя: нет нормальной сессии, один хит на один факт шеринга, без перехода по дальнейшим ссылкам.

Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по arenaunfurlbot показывает обращения на URL из шеринга — но стоит знать: если ссылка на вашу страницу разошлась широко внутри сообщества Arena (10+ млн пользователей в месяц), объём может быть куда заметнее, чем «пара запросов» — счёт может идти на тысячи обращений в час при вирусном распространении.

3. Нагрузка и риски именно для ArenaUnfurlBot

Отдельной строки в публичной сводке top-bot TrafficVeil у arenaunfurlbot может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи увидят «голую» ссылку без картинки и описания. Практический нюанс именно для Arena: платформа крупная (10+ млн пользователей в месяц), поэтому при действительно вирусном шеринге конкретной ссылки внутри комьюнити объём запросов от ArenaUnfurlBot может быть заметно выше типового для категории — это не постоянная фоновая нагрузка, а редкие, но потенциально интенсивные всплески.

4. Как найти ArenaUnfurlBot в логах

Не ищите «просто ботов» — ищите конкретный токен arenaunfurlbot и рядом смотрите соседей по семейству, включая возможный прежний токен LMArenaUnfurlBot.

# Базовый поиск по обоим вариантам бренда платформы
grep -iE "arenaunfurlbot|lmarenaunfurlbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — проверьте на всплески при вирусном шеринге
grep -i "arenaunfurlbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "arenaunfurlbot|bufferlinkpreviewbot|clickuplinkunfurler" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + характерный паттерн — один хит на факт шеринга, без перехода по дальнейшим ссылкам страницы.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для ArenaUnfurlBot

# Жёсткий запрет
User-agent: arenaunfurlbot
Disallow: /

# Разрешить всё
User-agent: arenaunfurlbot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: arenaunfurlbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для arenaunfurlbot, только если превью в интерфейсе Arena принципиально не нужны. Учитывая масштаб платформы (10+ млн пользователей в месяц), сломанное превью может быть заметно большей аудитории, чем у менее крупных сервисов этой категории.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "arenaunfurlbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=arenaunfurlbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "arenaunfurlbot") {
        limit_req zone=arenaunfurlbot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} arenaunfurlbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите arenaunfurlbot в ботах домена или в /system/bots;
• Для этой категории по умолчанию рекомендуется Allow — блокировка «на всякий случай» ломает карточки шеринга без реальной экономии ресурсов;
• Если нагрузка от вирусного всплеска реально мешает — используйте rate-limit, а не полный запрет, поскольку это обычно разовое, а не постоянное явление;
• После изменения сверьте логи, что превью корректно отображается при тестовом шеринге внутри Arena.

7. Рекомендации: что делать с ArenaUnfurlBot

• Ломаются карточки шеринга внутри крупного AI-комьюнити — блокируйте только если превью принципиально не нужны;
• Учитывайте масштаб платформы: при вирусном шеринге ссылки объём запросов может резко вырасти на короткое время — это не повод для полной блокировки, а повод для rate-limit;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
• Что будет при блокировке: пользователи Arena увидят голую ссылку без картинки и описания при шеринге внутри платформы.

8. С кем не путать ArenaUnfurlBot

9. Стратегия allow/deny для ArenaUnfurlBot