В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а AI Writer с User-Agent ai writer. Проверка нашла первоисточник этого имени — и это не документация конкретной компании, а масштабный community-блоклист «Ultimate AI Block List» (Perishable Press, 700+ записей), где токен «AI Writer» перечислен в общем списке рядом с сотнями похожих generic-имён: AI Article Writer, AI Content Detector, AI Dungeon, AI SEO Crawler, AI Search и другие. Список составлен для широкой профилактической блокировки, а не как реестр задокументированных отдельных операторов.
1. Что такое AI Writer
Само по себе название «AI Writer» — популярное родовое имя целого класса продуктов: существует множество отдельных мобильных приложений и веб-сервисов с таким или очень похожим названием (AI Writer: Chatbot Assistant, AI Chat Bot Writer for Copy и подобные) от разных, никак не связанных друг с другом разработчиков. Ни один из них не задокументирован как оператор краулера, который обходит сторонние сайты под этим именем — это в первую очередь потребительские приложения для написания текста по запросу пользователя, а не фоновые сборщики контента.
| Название | AI Writer |
| User-Agent / паттерн | ai writer |
| Оператор | Не установлен — токен взят из общего community-блоклиста (Perishable Press «Ultimate AI Block List»), а не из документации конкретной компании; название также совпадает с десятками разных потребительских AI-приложений для письма |
| Роль | По шаблону категории — наполнение AI-индекса; но логика самих продуктов с похожим названием — генерация текста по запросу пользователя, а не фоновый обход чужих сайтов |
| Документация / ориентир | Публичной документации для этого конкретного токена как краулера не найдено |
| Список IP | ❌ Официального списка нет |
| robots.txt | Поведение непредсказуемо — нет подтверждённого единого оператора, который мог бы задать политику |
| Пометка TrafficVeil | Легитимный / AI и LLM-краулеры — присвоено по шаблону категории, конкретных оснований для доверия меньше, чем для документированных AI-краулеров вроде GPTBot |
2. Зачем AI Writer приходит на сайт
Шаблонное объяснение категории — если токен регулярно мелькает в логах, почти наверняка контент интересен как сырьё для AI-продукта. Но стоит добавить скепсис именно для этого имени: раз оно взято из общего блоклиста, а не из документации конкретной компании, и при этом массово используется десятками разных потребительских приложений для письма, у которых нет причин собирать данные со сторонних сайтов, — систематический фоновый обход, описанный в типичном кейсе категории, слабо вяжется с логикой самого продукта «ассистент для написания текста по запросу».
- Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога;
- Что ищет: контент, метаданные, availability или ссылочный граф — конкретная цель не подтверждена официальной документацией;
- Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует ai writer на пагинации и карточках — системный обход блога и каталога плохо соотносится с продуктом, который по смыслу должен писать текст по запросу конкретного пользователя, а не собирать данные со сторонних сайтов впрок.
3. Нагрузка и риски именно для AI Writer
Отдельной строки в публичной сводке top-bot TrafficVeil у ai writer может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: риск отдать уникальные тексты, описания товаров и статьи в чужой AI-контур без кликов и атрибуции. Для этого токена риск усилен неопределённостью: нет ни одной компании, чью репутацию и политику использования данных можно было бы оценить — только родовое имя без владельца.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти AI Writer в логах
Не ищите «просто ботов» — ищите конкретный токен ai writer и рядом смотрите соседей по семейству обобщённых AI-имён из того же блоклиста.
# Базовый поиск
grep -i "ai writer" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Проверить полную строку UA — есть ли ссылка на конкретного оператора
grep -io "ai writer[^\"]*" /var/log/nginx/access.log | sort -u | head
# Отделить от похожих строк семейства обобщённых AI-имён
grep -iE "ai writer|ai article writer|ai content detector|ai dungeon" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт — а для этого токена шанс подделки или бессмысленного совпадения выше обычного, поскольку название массово используют десятки разных, никак не связанных потребительских приложений. Обязательно смотрите полную строку UA целиком на предмет ссылки на конкретный официальный домен.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для AI Writer
# Жёсткий запрет
User-agent: ai writer
Disallow: /
# Разрешить всё
User-agent: ai writer
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: ai writer
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для ai writer, если пользы нет — с учётом отсутствия подтверждённого оператора это разумный default. Кстати, именно этот подход и предлагает первоисточник токена: Perishable Press прямо публикует готовый блок правил robots.txt для широкой профилактической блокировки всего списка generic-имён разом, включая AI Writer.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "ai writer") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_5bc05d0d9e54_key {
default "";
"~*ai writer" $binary_remote_addr;
}
limit_req_zone $tv_ng_5bc05d0d9e54_key zone=tv_ng_5bc05d0d9e54:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_5bc05d0d9e54 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ai writer [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите ai writer в ботах домена или в /system/bots;
- Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной, подтверждённой пользе — и не полагайтесь на «в целом безобидное» звучание названия;
- После изменения сверьте логи: хиты ai writer должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с AI Writer
- Если пользы нет — Disallow/403 для ai writer, если пользы нет;
- Если польза есть — Allow только при явной пользе от AI Writer;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: блокировка почти не бьёт по классическому SEO Google/Yandex, зато ограничивает использование контента в неопределённом наборе продуктов, скрывающихся за этим родовым именем.
8. С кем не путать AI Writer
| Бот / сосед | Кластер | UA | Комментарий |
| AI Article Writer | AI и LLM-краулеры | ai article writer | из того же блоклиста, такой же обобщённый токен |
| AI Content Detector | AI и LLM-краулеры | ai content detector | из того же блоклиста, такой же обобщённый токен |
| AI Dungeon | AI и LLM-краулеры | ai dungeon | из того же блоклиста, совпадает с названием реального продукта без подтверждённого краулера |
| AI SEO Crawler | AI и LLM-краулеры | ai seo crawler | из того же блоклиста, такой же обобщённый токен |
| AI Search Engine | AI и LLM-краулеры | ai search engine | такой же обобщённый токен без единого подтверждённого оператора |
9. Стратегия allow/deny для AI Writer
| Ситуация | Действие |
| Нужна подтверждённая польза от конкретного, верифицированного источника | Allow точечно, только после проверки полного UA на ссылку на официальный домен |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA или бессмысленное совпадение | Высокое по умолчанию — родовое имя без подтверждённой связи с оператором скорее повод для проверки, чем для доверия |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Откуда вообще взялся токен AI Writer в базе TrafficVeil?
Есть ли реальные продукты с названием AI Writer?
Зачем ассистенту для написания текста обходить чужие блоги и каталоги?
Предлагает ли сам источник блоклиста готовое решение по блокировке?
Стоит ли по умолчанию блокировать этот токен?
Как проверить, стоит ли за конкретным хитом реальный, заслуживающий доверия оператор?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.