ProWritingAid в логах: зачем боту нужен контент сайта

ProWritingAid известен миллионам пользователей как расширение для проверки грамматики и стиля — но токен prowritingaid в access.log относится не к этому расширению внутри чьего-то браузера, а к отдельному автоматизированному клиенту, который обращается к сайтам без участия человека. В каталоге TrafficVeil он отмечен как легитимный в категории «AI и LLM-краулеры».

Зачем ProWritingAid может приходить на сайт

У сервиса ProWritingAid есть функция плагиат-чекера, которая сверяет текст пользователя с базой, по заявлению компании, из более чем миллиарда веб-страниц и научных публикаций. Чтобы такая проверка вообще работала, где-то на бэкенде должен существовать механизм, который эту базу собирает и обновляет, — и это правдоподобное объяснение, зачем автоматизированный клиент с именем сервиса может забирать содержимое сторонних сайтов. Официального технического описания механизма от самой компании нет, поэтому это обоснованная гипотеза, а не подтверждённый факт.

Какие зоны сайта такой обход чаще всего затрагивает: /blog/, /product/, /category/, /news/, открытый /api/, страницы пагинации каталога — то есть текстовый контент, который логично включать в базу для сравнения. От обычного посетителя браузера трафик отличается стандартно: нет нормальной сессии, интервалы между запросами не похожи на поведение человека, и повторяется один и тот же path-паттерн.

Что такое ProWritingAid

Как найти ProWritingAid в логах

Ищите конкретный токен prowritingaid, а не общее слово «bot» — сразу смотрите соседей по семейству UA, если работаете с несколькими AI-инструментами письма одновременно.

# Базовый поиск
grep -i "prowritingaid" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "prowritingaid" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "prowritingaid" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "prowritingaid" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация здесь особенно важна: подделать User-Agent может любой скрипт, а официального перечня IP от оператора нет. Смотрите связку UA + ASN/IP + частота + набор URL — если запросы идут стабильно на текстовые разделы сайта (блог, статьи, гайды), это подтверждает гипотезу про сбор материала для сравнительной базы, а не случайный шум.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Нагрузка и риски именно для ProWritingAid

Отдельной строки в публичной сводке топ-ботов TrafficVeil у prowritingaid может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: даже при соблюдении robots.txt соседние AI-инструменты того же класса могут вести себя иначе, поэтому стоит проверять не только сам токен, но и семейство похожих UA. Смотрите не только на абсолютный RPS, но и на качество хитов:

• глубина обхода — систематический проход по текстовым разделам логичен для сбора базы сравнения;
• повторы одних и тех же URL без видимой причины;
• отсутствие cookie и признаков сессии;
• концентрацию именно на текстоёмких страницах, а не на служебных разделах.

robots.txt для ProWritingAid

# Жёсткий запрет
User-agent: prowritingaid
Disallow: /

# Разрешить всё
User-agent: prowritingaid
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: prowritingaid
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: раз официальной документации по этому конкретному боту нет, гарантий соблюдения robots.txt тоже нет. Если после правки файла хиты продолжаются — переходите к nginx/Apache или к запрету через TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "prowritingaid") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=prowritingaid:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "prowritingaid") {
        limit_req zone=prowritingaid burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} prowritingaid [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите prowritingaid / ProWritingAid в ботах домена или в /system/bots;
• для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
• allow оставляйте только при явной пользе — например, если для вас важно попадание контента в базы AI-инструментов для писателей;
• после изменения сверьте логи: хиты ProWritingAid должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать ProWritingAid

Стратегия allow/deny для ProWritingAid

Итог по ProWritingAid: официального объяснения от оператора нет, но функция плагиат-чекера сервиса даёт разумную рабочую гипотезу о происхождении трафика. Решение allow/deny здесь разумнее принимать по фактической пользе для вашего сайта, а не по одной строке UA в логах.