Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

AI Writer: родовое имя из общего блоклиста, не один бот

Разбираем токен AI Writer — происходит из масштабного community-блоклиста Perishable Press и совпадает с названиями десятков разных потребительских AI-приложений для письма. Показываем, почему логика самих продуктов не предполагает сбора данных с чужих сайтов, и как настроить deny по умолчанию.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота AI Writer: легитимный ai и llm-краулеры

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а AI Writer с User-Agent ai writer. Проверка нашла первоисточник этого имени — и это не документация конкретной компании, а масштабный community-блоклист «Ultimate AI Block List» (Perishable Press, 700+ записей), где токен «AI Writer» перечислен в общем списке рядом с сотнями похожих generic-имён: AI Article Writer, AI Content Detector, AI Dungeon, AI SEO Crawler, AI Search и другие. Список составлен для широкой профилактической блокировки, а не как реестр задокументированных отдельных операторов.

1. Что такое AI Writer

Само по себе название «AI Writer» — популярное родовое имя целого класса продуктов: существует множество отдельных мобильных приложений и веб-сервисов с таким или очень похожим названием (AI Writer: Chatbot Assistant, AI Chat Bot Writer for Copy и подобные) от разных, никак не связанных друг с другом разработчиков. Ни один из них не задокументирован как оператор краулера, который обходит сторонние сайты под этим именем — это в первую очередь потребительские приложения для написания текста по запросу пользователя, а не фоновые сборщики контента.

Название AI Writer
User-Agent / паттерн ai writer
Оператор Не установлен — токен взят из общего community-блоклиста (Perishable Press «Ultimate AI Block List»), а не из документации конкретной компании; название также совпадает с десятками разных потребительских AI-приложений для письма
Роль По шаблону категории — наполнение AI-индекса; но логика самих продуктов с похожим названием — генерация текста по запросу пользователя, а не фоновый обход чужих сайтов
Документация / ориентир Публичной документации для этого конкретного токена как краулера не найдено
Список IP ❌ Официального списка нет
robots.txt Поведение непредсказуемо — нет подтверждённого единого оператора, который мог бы задать политику
Пометка TrafficVeil Легитимный / AI и LLM-краулеры — присвоено по шаблону категории, конкретных оснований для доверия меньше, чем для документированных AI-краулеров вроде GPTBot

2. Зачем AI Writer приходит на сайт

Шаблонное объяснение категории — если токен регулярно мелькает в логах, почти наверняка контент интересен как сырьё для AI-продукта. Но стоит добавить скепсис именно для этого имени: раз оно взято из общего блоклиста, а не из документации конкретной компании, и при этом массово используется десятками разных потребительских приложений для письма, у которых нет причин собирать данные со сторонних сайтов, — систематический фоновый обход, описанный в типичном кейсе категории, слабо вяжется с логикой самого продукта «ассистент для написания текста по запросу».

  • Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога;
  • Что ищет: контент, метаданные, availability или ссылочный граф — конкретная цель не подтверждена официальной документацией;
  • Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует ai writer на пагинации и карточках — системный обход блога и каталога плохо соотносится с продуктом, который по смыслу должен писать текст по запросу конкретного пользователя, а не собирать данные со сторонних сайтов впрок.

3. Нагрузка и риски именно для AI Writer

Отдельной строки в публичной сводке top-bot TrafficVeil у ai writer может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: риск отдать уникальные тексты, описания товаров и статьи в чужой AI-контур без кликов и атрибуции. Для этого токена риск усилен неопределённостью: нет ни одной компании, чью репутацию и политику использования данных можно было бы оценить — только родовое имя без владельца.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти AI Writer в логах

Не ищите «просто ботов» — ищите конкретный токен ai writer и рядом смотрите соседей по семейству обобщённых AI-имён из того же блоклиста.

# Базовый поиск
grep -i "ai writer" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "ai writer" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверить полную строку UA — есть ли ссылка на конкретного оператора
grep -io "ai writer[^\"]*" /var/log/nginx/access.log | sort -u | head

# Отделить от похожих строк семейства обобщённых AI-имён
grep -iE "ai writer|ai article writer|ai content detector|ai dungeon" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт — а для этого токена шанс подделки или бессмысленного совпадения выше обычного, поскольку название массово используют десятки разных, никак не связанных потребительских приложений. Обязательно смотрите полную строку UA целиком на предмет ссылки на конкретный официальный домен.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для AI Writer

# Жёсткий запрет
User-agent: ai writer
Disallow: /

# Разрешить всё
User-agent: ai writer
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: ai writer
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для ai writer, если пользы нет — с учётом отсутствия подтверждённого оператора это разумный default. Кстати, именно этот подход и предлагает первоисточник токена: Perishable Press прямо публикует готовый блок правил robots.txt для широкой профилактической блокировки всего списка generic-имён разом, включая AI Writer.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "ai writer") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_5bc05d0d9e54_key {
    default "";
    "~*ai writer" $binary_remote_addr;
}
limit_req_zone $tv_ng_5bc05d0d9e54_key zone=tv_ng_5bc05d0d9e54:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_5bc05d0d9e54 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ai writer [NC]
RewriteRule ^ - [F,L]

TrafficVeil

  • Найдите ai writer в ботах домена или в /system/bots;
  • Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
  • Allow только при явной, подтверждённой пользе — и не полагайтесь на «в целом безобидное» звучание названия;
  • После изменения сверьте логи: хиты ai writer должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с AI Writer

  • Если пользы нет — Disallow/403 для ai writer, если пользы нет;
  • Если польза есть — Allow только при явной пользе от AI Writer;
  • Если нагрузка мешает — сначала rate-limit, затем полный запрет;
  • Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
  • Что будет при блокировке: блокировка почти не бьёт по классическому SEO Google/Yandex, зато ограничивает использование контента в неопределённом наборе продуктов, скрывающихся за этим родовым именем.

8. С кем не путать AI Writer

Бот / сосед Кластер UA Комментарий
AI Article Writer AI и LLM-краулеры ai article writer из того же блоклиста, такой же обобщённый токен
AI Content Detector AI и LLM-краулеры ai content detector из того же блоклиста, такой же обобщённый токен
AI Dungeon AI и LLM-краулеры ai dungeon из того же блоклиста, совпадает с названием реального продукта без подтверждённого краулера
AI SEO Crawler AI и LLM-краулеры ai seo crawler из того же блоклиста, такой же обобщённый токен
AI Search Engine AI и LLM-краулеры ai search engine такой же обобщённый токен без единого подтверждённого оператора

9. Стратегия allow/deny для AI Writer

Ситуация Действие
Нужна подтверждённая польза от конкретного, верифицированного источника Allow точечно, только после проверки полного UA на ссылку на официальный домен
Только мешает и жрёт ресурсы Disallow + запрет в TrafficVeil
Нужен доступ, но пики по ночам Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil Deny по умолчанию, исключения — точечно
Подозрение на spoofing UA или бессмысленное совпадение Высокое по умолчанию — родовое имя без подтверждённой связи с оператором скорее повод для проверки, чем для доверия
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Откуда вообще взялся токен AI Writer в базе TrafficVeil?
Из масштабного community-блоклиста «Ultimate AI Block List» (Perishable Press, 700+ записей), составленного для широкой профилактической блокировки, а не как реестр отдельных задокументированных операторов.
Есть ли реальные продукты с названием AI Writer?
Да, и не один — существуют десятки разных потребительских приложений для письма с таким или очень похожим названием от никак не связанных друг с другом разработчиков.
Зачем ассистенту для написания текста обходить чужие блоги и каталоги?
Логика неочевидна — такие продукты обычно генерируют текст по запросу конкретного пользователя, а не собирают контент со сторонних сайтов фоновым обходом.
Предлагает ли сам источник блоклиста готовое решение по блокировке?
Да, Perishable Press публикует готовый блок правил robots.txt для разовой блокировки всего списка generic-имён, включая AI Writer.
Стоит ли по умолчанию блокировать этот токен?
Да, при отсутствии дополнительных подтверждений это разумный default — как и для остальных обобщённых имён из того же блоклиста.
Как проверить, стоит ли за конкретным хитом реальный, заслуживающий доверия оператор?
Смотреть полную строку User-Agent целиком — ссылка на официальный домен конкретного продукта станет куда более сильным сигналом, чем сам по себе узнаваемый общий токен.
#AI Writer#Ultimate AI Block List#generic-боты#анализ логов#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота AI Article Writer: легитимный ai и llm-краулеры
Боты·6 мин

AI Article Writer в логах: атрибуция и контроль запросов

Что можно заключить по заявленной строке AI Article Writer, когда оператор не подтверждён. Проверка собственных интеграций, ограничение запросов и границы robots.txt.

Читать
Уникальная иллюстрация бота AI Content Detector: легитимный ai и llm-краулеры
Боты·6 мин

AI Content Detector: узнаваемая тема, неподтверждённый бот

Разбираем токен AI Content Detector — совпадает по смыслу с реальной и развитой индустрией (GPTZero, Copyleaks, Originality.ai), но без подтверждённой связи с конкретным оператором. Показываем, почему логика самих детекторов не предполагает фонового обхода сайтов, и как настроить deny по умолчанию.

Читать
Уникальная иллюстрация бота AI Dungeon: легитимный ai и llm-краулеры
Боты·6 мин

AI Dungeon в логах: известное имя, недоказанный краулер

Разбираем токен AI Dungeon — совпадает с названием известной AI-игры Latitude, но доказательств связи этого трафика с реальной компанией не нашлось. Показываем, почему узнаваемость бренда — не повод доверять боту, как найти его в access.log и настроить deny по умолчанию.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil