ProWritingAid известен миллионам пользователей как расширение для проверки грамматики и стиля — но токен prowritingaid в access.log относится не к этому расширению внутри чьего-то браузера, а к отдельному автоматизированному клиенту, который обращается к сайтам без участия человека. В каталоге TrafficVeil он отмечен как легитимный в категории «AI и LLM-краулеры».
Зачем ProWritingAid может приходить на сайт
У сервиса ProWritingAid есть функция плагиат-чекера, которая сверяет текст пользователя с базой, по заявлению компании, из более чем миллиарда веб-страниц и научных публикаций. Чтобы такая проверка вообще работала, где-то на бэкенде должен существовать механизм, который эту базу собирает и обновляет, — и это правдоподобное объяснение, зачем автоматизированный клиент с именем сервиса может забирать содержимое сторонних сайтов. Официального технического описания механизма от самой компании нет, поэтому это обоснованная гипотеза, а не подтверждённый факт.
Какие зоны сайта такой обход чаще всего затрагивает: /blog/, /product/, /category/, /news/, открытый /api/, страницы пагинации каталога — то есть текстовый контент, который логично включать в базу для сравнения. От обычного посетителя браузера трафик отличается стандартно: нет нормальной сессии, интервалы между запросами не похожи на поведение человека, и повторяется один и тот же path-паттерн.
Что такое ProWritingAid
| Параметр | Значение |
| Название | ProWritingAid |
| User-Agent / паттерн | prowritingaid |
| Оператор | не указан публично для этого конкретного UA; ассоциируется с сервисом ProWritingAid (грамматика, стиль, плагиат-чекер для писателей) |
| Роль | Вероятно связана с наполнением базы для плагиат-чекера и/или иных текстовых функций сервиса; официально не задокументирована |
| Документация / ориентир | Публичная документация именно по этому боту отсутствует; опирайтесь на UA + поведение + ASN |
| Список IP | ❌ Отдельного полного списка IP нет; проверяйте ASN и не доверяйте только строке UA |
| robots.txt | Крупные операторы чаще соблюдают; технические клиенты и user-initiated fetchers — не всегда |
| Пометка TrafficVeil | Легитимный / AI и LLM-краулеры |
Как найти ProWritingAid в логах
Ищите конкретный токен prowritingaid, а не общее слово «bot» — сразу смотрите соседей по семейству UA, если работаете с несколькими AI-инструментами письма одновременно.
# Базовый поиск
grep -i "prowritingaid" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "prowritingaid" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "prowritingaid" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "prowritingaid" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация здесь особенно важна: подделать User-Agent может любой скрипт, а официального перечня IP от оператора нет. Смотрите связку UA + ASN/IP + частота + набор URL — если запросы идут стабильно на текстовые разделы сайта (блог, статьи, гайды), это подтверждает гипотезу про сбор материала для сравнительной базы, а не случайный шум.
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
Нагрузка и риски именно для ProWritingAid
Отдельной строки в публичной сводке топ-ботов TrafficVeil у prowritingaid может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: даже при соблюдении robots.txt соседние AI-инструменты того же класса могут вести себя иначе, поэтому стоит проверять не только сам токен, но и семейство похожих UA. Смотрите не только на абсолютный RPS, но и на качество хитов:
- глубина обхода — систематический проход по текстовым разделам логичен для сбора базы сравнения;
- повторы одних и тех же URL без видимой причины;
- отсутствие cookie и признаков сессии;
- концентрацию именно на текстоёмких страницах, а не на служебных разделах.
robots.txt для ProWritingAid
# Жёсткий запрет User-agent: prowritingaid Disallow: / # Разрешить всё User-agent: prowritingaid Allow: / # Компромисс: закрыть деньги/кабинет, оставить публичную часть User-agent: prowritingaid Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /account/ Disallow: /api/ Allow: /
Важно: раз официальной документации по этому конкретному боту нет, гарантий соблюдения robots.txt тоже нет. Если после правки файла хиты продолжаются — переходите к nginx/Apache или к запрету через TrafficVeil.
Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "prowritingaid") {
return 403;
}
limit_req_zone $binary_remote_addr zone=prowritingaid:10m rate=10r/m;
location / {
if ($http_user_agent ~* "prowritingaid") {
limit_req zone=prowritingaid burst=20 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} prowritingaid [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- найдите prowritingaid / ProWritingAid в ботах домена или в
/system/bots; - для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
- allow оставляйте только при явной пользе — например, если для вас важно попадание контента в базы AI-инструментов для писателей;
- после изменения сверьте логи: хиты ProWritingAid должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.
С кем не путать ProWritingAid
| Бот / сосед | Кластер | UA | Комментарий |
| AI Article Writer | AI и LLM-краулеры | ai article writer | легитимный |
| AI Content Detector | AI и LLM-краулеры | ai content detector | легитимный |
| AI Dungeon | AI и LLM-краулеры | ai dungeon | легитимный |
| AI SEO Crawler | AI и LLM-краулеры | ai seo crawler | легитимный |
| AI Search Engine | AI и LLM-краулеры | ai search engine | легитимный |
Стратегия allow/deny для ProWritingAid
| Ситуация | Действие |
| Нужна польза от присутствия в базах AI-инструментов письма | Allow + закрыть /admin /cart /api |
| Только мешает и потребляет ресурсы origin | Disallow + запрет в TrafficVeil |
| Доступ нужен, но пики нагрузки мешают | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на спуфинг UA | Не доверять строке UA; смотреть IP/ASN и характер запросов |
Итог по ProWritingAid: официального объяснения от оператора нет, но функция плагиат-чекера сервиса даёт разумную рабочую гипотезу о происхождении трафика. Решение allow/deny здесь разумнее принимать по фактической пользе для вашего сайта, а не по одной строке UA в логах.