AI2Bot в логах сайта: краулер Allen Institute for AI, а не Google

Если в логах встречается токен AI2Bot, это не Googlebot и не рядовой SEO-краулер, а бот некоммерческого исследовательского института Allen Institute for AI (Ai2), основанного при участии Пола Аллена, сооснователя Microsoft. Ai2 собирает веб-контент не для поиска и не для индексации сайта, а для обучения открытых языковых моделей и исследовательских датасетов — в частности, для собственной модели OLMo и поисковой системы научных статей Semantic Scholar.

1. Что такое AI2Bot

AI2Bot — краулер, который наполняет открытый датасет Dolma: мультитриллионный (buквально — на триллионы токенов) корпус веб-текста, который Ai2 публикует в открытом доступе для обучения языковых моделей. Отдельно встречается вариант Ai2Bot-Dolma — по документации оператора это тот же краулер, ориентированный конкретно на сбор данных для Dolma; часть вебмастеров отмечает, что в реальных логах суффикс -Dolma появляется даже там, где официальное уведомление о краулинге описывало только базовый AI2Bot — то есть строка UA в логах может слегка отличаться от заявленной в документации.

2. Зачем AI2Bot приходит на сайт

AI2Bot исследует определённые домены в поисках веб-контента, который потом используется для обучения открытых языковых моделей — цитата из официального уведомления оператора именно так и формулирует задачу бота. В отличие от коммерческих AI-краулеров (например, тех, что питают закрытые проприетарные модели), результат работы Ai2 — открытые датасеты и открытые веса моделей, доступные исследовательскому сообществу.

• Какие зоны чаще трогает: публичные текстовые страницы сайта — краулер интересует в первую очередь контент, а не служебные эндпоинты;
• Что ищет: текстовый контент подходящего качества для пополнения открытого корпуса Dolma;
• Чем отличается от браузерного пользователя: нет сессии и cookie, посещения не привязаны к конкретному интересу пользователя, а идут по списку доменов для планового обхода.

Отдельно стоит знать про соседний бот — AI2Bot-DeepResearchEval. Это не тот же краулер, а другой инструмент того же оператора: он не пополняет обучающий датасет, а подгружает и сканирует ресурсы в момент, когда ассистенты Ai2 выполняют режим «глубокого исследования» по запросу пользователя — то есть это агентный фетчер под конкретный пользовательский запрос, а не фоновый сбор данных для тренировки. Если в логах встречается именно этот токен, логика allow/deny может быть другой, чем для базового AI2Bot.

3. Нагрузка и риски именно для AI2Bot

По вашей сводке TrafficVeil нагрузка от AI2Bot умеренная — порядка 0,3 тыс. запросов, что для некоммерческого исследовательского краулера типичный объём: сторонние наблюдатели тоже отмечают, что по сравнению с крупными коммерческими AI-краулерами объём трафика от Ai2 заметно ниже, хотя значимость для открытых AI-бенчмарков высокая. Сторонние каталоги ботов присваивают AI2Bot и Ai2Bot-Dolma пометку осторожности («caution»), в первую очередь из-за общего принципа — любой краулер, собирающий контент для стороннего использования, теоретически может быть использован и для конкурентной разведки, а не только из-за реального деструктивного поведения именно этого бота.

Практический риск: расход CPU/bandwidth от планового обхода; на позиции сайта в Google, Bing или Яндексе блокировка AI2Bot не влияет — это отдельный, не поисковый краулер.

4. Как найти AI2Bot в логах

Ищите оба токена семейства — AI2Bot и Ai2Bot-Dolma — а также будьте готовы к вариациям формата UA.

# Базовый поиск по обоим токенам
grep -iE "AI2Bot|Ai2Bot-Dolma" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -iE "AI2Bot|Ai2Bot-Dolma" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -iE "AI2Bot|Ai2Bot-Dolma" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -iE "AI2Bot|Ai2Bot-Dolma" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Более широкий regex-фильтр на случай вариаций UA (встречался у других вебмастеров)
grep -iE "ai[0-9]bot|allenai\.org" /var/log/nginx/access.log | wc -l

# Отдельно проверить визиты AI2Bot-DeepResearchEval (другой инструмент, другая логика allow/deny)
grep -i "AI2Bot-DeepResearchEval" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для точной верификации остаётся связка UA + поведение + частота, а не IP/ASN.

5. robots.txt для AI2Bot

# Блокировать оба варианта краулера, используемых для тренировки моделей
User-agent: AI2Bot
Disallow: /

User-agent: Ai2Bot-Dolma
Disallow: /

# Разрешить
User-agent: AI2Bot
Allow: /

User-agent: Ai2Bot-Dolma
Allow: /

Важно: не хотите, чтобы контент попал в открытые обучающие датасеты — ставьте Disallow. Ок с идеей открытых research-датасетов — оставляйте Allow. На видимость в Google это правило не влияет: это разные, независимые друг от друга краулеры.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "AI2Bot|Ai2Bot") {
    return 403;
}

TrafficVeil

• Найдите AI2Bot / Ai2Bot-Dolma в ботах домена или в /system/bots;
• Если контент не должен попадать в открытые обучающие датасеты — категория «запретить»;
• Если позиция домена допускает участие в открытых research-инициативах — Allow;
• После изменения сверьте логи и убедитесь, что поисковые роботы Google/Yandex продолжают заходить без изменений — правило их не затрагивает.

7. Рекомендации: что делать с AI2Bot

• Не хотите в open training datasets — Disallow + deny на уровне nginx/TrafficVeil;
• Ок с open research — Allow, дополнительных рисков для нагрузки при текущем объёме (~0,3 тыс. запросов) нет;
• Если встречается AI2Bot-DeepResearchEval — решайте отдельно от базового AI2Bot: это агентный фетчер под живые пользовательские запросы, а не фоновый сбор датасета;
• На Google, Bing и Яндекс не влияет — это независимый некоммерческий краулер, а не поисковый бот.

8. С кем не путать AI2Bot

9. Стратегия allow/deny для AI2Bot