В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а AI Writer с User-Agent ai writer. Проверка нашла первоисточник этого имени — и это не документация конкретной компании, а масштабный community-блоклист «Ultimate AI Block List» (Perishable Press, 700+ записей), где токен «AI Writer» перечислен в общем списке рядом с сотнями похожих generic-имён: AI Article Writer, AI Content Detector, AI Dungeon, AI SEO Crawler, AI Search и другие. Список составлен для широкой профилактической блокировки, а не как реестр задокументированных отдельных операторов.
1. Что такое AI Writer
Само по себе название «AI Writer» — популярное родовое имя целого класса продуктов: существует множество отдельных мобильных приложений и веб-сервисов с таким или очень похожим названием (AI Writer: Chatbot Assistant, AI Chat Bot Writer for Copy и подобные) от разных, никак не связанных друг с другом разработчиков. Ни один из них не задокументирован как оператор краулера, который обходит сторонние сайты под этим именем — это в первую очередь потребительские приложения для написания текста по запросу пользователя, а не фоновые сборщики контента.
| Название | AI Writer |
| User-Agent / паттерн | ai writer |
| Оператор | Не установлен — токен взят из общего community-блоклиста (Perishable Press «Ultimate AI Block List»), а не из документации конкретной компании; название также совпадает с десятками разных потребительских AI-приложений для письма |
| Роль | По шаблону категории — наполнение AI-индекса; но логика самих продуктов с похожим названием — генерация текста по запросу пользователя, а не фоновый обход чужих сайтов |
| Документация / ориентир | Публичной документации для этого конкретного токена как краулера не найдено |
| Список IP | ❌ Официального списка нет |
| robots.txt | Поведение непредсказуемо — нет подтверждённого единого оператора, который мог бы задать политику |
| Пометка TrafficVeil | Легитимный / AI и LLM-краулеры — присвоено по шаблону категории, конкретных оснований для доверия меньше, чем для документированных AI-краулеров вроде GPTBot |
2. Зачем AI Writer приходит на сайт
Шаблонное объяснение категории — если токен регулярно мелькает в логах, почти наверняка контент интересен как сырьё для AI-продукта. Но стоит добавить скепсис именно для этого имени: раз оно взято из общего блоклиста, а не из документации конкретной компании, и при этом массово используется десятками разных потребительских приложений для письма, у которых нет причин собирать данные со сторонних сайтов, — систематический фоновый обход, описанный в типичном кейсе категории, слабо вяжется с логикой самого продукта «ассистент для написания текста по запросу».
- Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога;
- Что ищет: контент, метаданные, availability или ссылочный граф — конкретная цель не подтверждена официальной документацией;
- Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует ai writer на пагинации и карточках — системный обход блога и каталога плохо соотносится с продуктом, который по смыслу должен писать текст по запросу конкретного пользователя, а не собирать данные со сторонних сайтов впрок.
3. Нагрузка и риски именно для AI Writer
Отдельной строки в публичной сводке top-bot TrafficVeil у ai writer может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: риск отдать уникальные тексты, описания товаров и статьи в чужой AI-контур без кликов и атрибуции. Для этого токена риск усилен неопределённостью: нет ни одной компании, чью репутацию и политику использования данных можно было бы оценить — только родовое имя без владельца.
4. Как найти AI Writer в логах
Не ищите «просто ботов» — ищите конкретный токен ai writer и рядом смотрите соседей по семейству обобщённых AI-имён из того же блоклиста.
# Базовый поиск
grep -i "ai writer" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Проверить полную строку UA — есть ли ссылка на конкретного оператора
grep -io "ai writer[^\"]*" /var/log/nginx/access.log | sort -u | head
# Отделить от похожих строк семейства обобщённых AI-имён
grep -iE "ai writer|ai article writer|ai content detector|ai dungeon" /var/log/nginx/access.log | wc -lВерификация. Подделать User-Agent может любой скрипт — а для этого токена шанс подделки или бессмысленного совпадения выше обычного, поскольку название массово используют десятки разных, никак не связанных потребительских приложений. Обязательно смотрите полную строку UA целиком на предмет ссылки на конкретный официальный домен.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для AI Writer
# Жёсткий запрет
User-agent: ai writer
Disallow: /
# Разрешить всё
User-agent: ai writer
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: ai writer
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: ставьте Disallow или 403 для ai writer, если пользы нет — с учётом отсутствия подтверждённого оператора это разумный default. Кстати, именно этот подход и предлагает первоисточник токена: Perishable Press прямо публикует готовый блок правил robots.txt для широкой профилактической блокировки всего списка generic-имён разом, включая AI Writer.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "ai writer") {
return 403;
}
limit_req_zone $binary_remote_addr zone=aiwriter:10m rate=10r/m;
location / {
if ($http_user_agent ~* "ai writer") {
limit_req zone=aiwriter burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ai writer [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите ai writer в ботах домена или в /system/bots;
- Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной, подтверждённой пользе — и не полагайтесь на «в целом безобидное» звучание названия;
- После изменения сверьте логи: хиты ai writer должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с AI Writer
- Если пользы нет — Disallow/403 для ai writer, если пользы нет;
- Если польза есть — Allow только при явной пользе от AI Writer;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: блокировка почти не бьёт по классическому SEO Google/Yandex, зато ограничивает использование контента в неопределённом наборе продуктов, скрывающихся за этим родовым именем.
8. С кем не путать AI Writer
| Бот / сосед | Кластер | UA | Комментарий |
| AI Article Writer | AI и LLM-краулеры | ai article writer | из того же блоклиста, такой же обобщённый токен |
| AI Content Detector | AI и LLM-краулеры | ai content detector | из того же блоклиста, такой же обобщённый токен |
| AI Dungeon | AI и LLM-краулеры | ai dungeon | из того же блоклиста, совпадает с названием реального продукта без подтверждённого краулера |
| AI SEO Crawler | AI и LLM-краулеры | ai seo crawler | из того же блоклиста, такой же обобщённый токен |
| AI Search Engine | AI и LLM-краулеры | ai search engine | такой же обобщённый токен без единого подтверждённого оператора |
9. Стратегия allow/deny для AI Writer
| Ситуация | Действие |
| Нужна подтверждённая польза от конкретного, верифицированного источника | Allow точечно, только после проверки полного UA на ссылку на официальный домен |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA или бессмысленное совпадение | Высокое по умолчанию — родовое имя без подтверждённой связи с оператором скорее повод для проверки, чем для доверия |