Если фильтровать access.log по ai dungeon, часто всплывает целый пласт машинных хитов — это и есть AI Dungeon. Важное уточнение по итогам проверки: AI Dungeon — это реальный и хорошо известный продукт, текстовая AI-игра компании Latitude (с 2019 года, миллионы игроков), а не абстрактное название. Но это не то же самое, что подтверждённое существование краулера, который эта компания официально использует для обхода сторонних сайтов, — таких доказательств не нашлось.
1. Что такое AI Dungeon
AI Dungeon — это текстовая приключенческая игра с генерацией сюжета через AI: игрок вводит собственные действия, а модель генерирует развитие истории в реальном времени. Разработчик, компания Latitude, публично известна как создатель именно этой игры (и других RPG-продуктов), а не как оператор краулера, собирающего контент со сторонних сайтов. Токен «AI Dungeon» также встречается в масштабных community-блоклистах AI-ботов (наряду с сотнями generic-имён вроде «AI Article Writer», «AI Writer», «AI Content Detector») — то есть по факту это тот же тип неоднозначной записи, что и у соседей по категории, только совпадающей по названию с реально существующим известным продуктом.
| Название | AI Dungeon |
| User-Agent / паттерн | ai dungeon |
| Оператор | Название совпадает с реальным продуктом Latitude, но подтверждённых сведений о том, что компания официально управляет краулером с таким UA для обхода сторонних сайтов, не найдено |
| Роль | По заявлению шаблона — сбор публичного текста для AI-пайплайна; но функционально сама игра генерирует контент по пользовательским подсказкам, а не собирает живые данные со сторонних сайтов в реальном времени, поэтому логика такого краулинга не очевидна |
| Документация / ориентир | У Latitude есть публичный сайт продукта (latitude.io, aidungeon.com), но first-party документации именно про краулер для вебмастеров не обнаружено |
| Список IP | ❌ Официального списка нет |
| robots.txt | Поведение непредсказуемо — нет ни официальной политики, ни подтверждённого оператора именно этого краулинг-паттерна |
| Пометка TrafficVeil | Легитимный / AI и LLM-краулеры — присвоено по шаблону категории, но конкретных оснований для доверия по умолчанию меньше, чем для документированных AI-краулеров вроде GPTBot или ClaudeBot |
2. Зачем AI Dungeon приходит на сайт
Шаблонное объяснение категории — сбор текста и структуры страниц для AI-пайплайна оператора, а не ради классического SEO. Но стоит отнестись к этому со здоровым скепсисом именно для данного токена: известный продукт с этим названием — генеративная игра, работающая от пользовательских подсказок, а не поисковая или индексирующая система, которой требовался бы регулярный обход блогов, каталогов и новостных разделов сторонних сайтов. Совпадение с раскрученным именем скорее повышает, чем снижает, вероятность того, что кто-то использует его для маскировки менее благовидного трафика под «в целом безобидно звучащий» AI-бренд.
- Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога;
- Что ищет: контент и метаданные — конкретная цель не подтверждена официальной документацией;
- Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.
Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по ai dungeon показывает системный обход блога, каталога и новостей — прежде чем расслабленно ставить allow «раз это как бы известный AI-продукт», стоит вспомнить, что реальных подтверждений связи этого трафика с компанией Latitude нет.
3. Нагрузка и риски именно для AI Dungeon
Отдельной строки в публичной сводке top-bot TrafficVeil у ai dungeon может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: нагрузка может быть «тихой» — не DDoS в классическом смысле, но постоянный съём HTML и рост bandwidth. Для этого конкретного токена стоит добавить дополнительный уровень осторожности: раз официальной связи с известной компанией не подтверждено, доверять названию бренда как гарантии добросовестности не стоит.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти AI Dungeon в логах
Не ищите «просто ботов» — ищите конкретный токен ai dungeon и рядом смотрите соседей по семейству обобщённых AI-имён.
# Базовый поиск
grep -i "ai dungeon" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "ai dungeon" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "ai dungeon" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "ai dungeon" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Проверить полную строку UA — есть ли ссылка на latitude.io/aidungeon.com или это голый токен
grep -io "ai dungeon[^\"]*" /var/log/nginx/access.log | sort -u | head
# Отделить от похожих строк семейства обобщённых AI-имён
grep -iE "ai dungeon|ai article writer|ai writer|ai content detector" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт — а здесь это особенно вероятно: узнаваемое название снижает подозрительность у невнимательного наблюдателя, что делает его удобным прикрытием. Обязательно проверяйте полную строку UA целиком: если в ней нет ссылки на официальный домен продукта (latitude.io или aidungeon.com) и контактных данных, это дополнительный повод не доверять токену просто по узнаваемости имени.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для AI Dungeon
# Жёсткий запрет
User-agent: ai dungeon
Disallow: /
# Разрешить всё
User-agent: ai dungeon
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: ai dungeon
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для ai dungeon, если пользы нет — а с учётом отсутствия подтверждённой связи с реальным оператором, это разумный default. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "ai dungeon") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_b9884fa096cd_key {
default "";
"~*ai dungeon" $binary_remote_addr;
}
limit_req_zone $tv_ng_b9884fa096cd_key zone=tv_ng_b9884fa096cd:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_b9884fa096cd burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ai dungeon [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите ai dungeon в ботах домена или в /system/bots;
- Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной, подтверждённой пользе — и не полагайтесь на узнаваемость названия продукта как на достаточное основание;
- После изменения сверьте логи: хиты ai dungeon должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с AI Dungeon
- Если пользы нет — Disallow/403 для ai dungeon, если пользы нет;
- Если польза есть — Allow только при явной пользе от AI Dungeon;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: блокировка почти не бьёт по классическому SEO Google/Yandex, зато ограничивает использование контента в неподтверждённом AI-пайплайне, скрывающемся за узнаваемым именем.
8. С кем не путать AI Dungeon
| Бот / сосед | Кластер | UA | Комментарий |
| AI Article Writer | AI и LLM-краулеры | ai article writer | такой же обобщённый токен без единого подтверждённого оператора |
| AI Content Detector | AI и LLM-краулеры | ai content detector | такой же обобщённый токен без единого подтверждённого оператора |
| AI SEO Crawler | AI и LLM-краулеры | ai seo crawler | такой же обобщённый токен без единого подтверждённого оператора |
| AI Search Engine | AI и LLM-краулеры | ai search engine | такой же обобщённый токен без единого подтверждённого оператора |
| AI Writer | AI и LLM-краулеры | ai writer | такой же обобщённый токен без единого подтверждённого оператора |
9. Стратегия allow/deny для AI Dungeon
| Ситуация | Действие |
| Нужна подтверждённая польза от конкретного, верифицированного источника | Allow точечно, только после проверки полного UA на ссылку на latitude.io/aidungeon.com |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Высокое по умолчанию — узнаваемое имя без подтверждённой связи с оператором скорее повод для проверки, чем для доверия |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
AI Dungeon — это реальный известный продукт?
Зачем игре-генератору историй обходить блоги и каталоги сторонних сайтов?
Значит ли известность бренда, что боту можно доверять больше?
Как проверить, действительно ли это связано с Latitude?
Стоит ли по умолчанию блокировать этот токен?
Влияет ли блокировка на позиции сайта в Google или Яндекс?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.