Rytr: 8 миллионов пользователей AI-копирайтера — и вероятная связь с плагиат-чекером, а не обучением моделей

Rytr — не безымянный AI-краулер, а один из самых массовых AI-инструментов для копирайтинга на рынке: платформу основал в 2021 году Абхи Годара, а сегодня, по собственным данным сервиса, ей пользуются свыше 8 миллионов авторов по всему миру. Продукт генерирует контент по короткому запросу для более чем 40 сценариев использования — от рекламных текстов и email-рассылок до постов в соцсетях, — работает на 30+ языках и предлагает более 20 настраиваемых тональностей.

Что в продукте правдоподобнее всего объясняет обход сторонних сайтов

У Rytr есть встроенная функция проверки на плагиат, работающая на основе интеграции с Copyscape — известным сервисом сверки оригинальности текста. Именно эта функция — наиболее правдоподобное объяснение, зачем боту Rytr вообще может понадобиться заходить на сторонние сайты: чтобы сравнить сгенерированный или загруженный пользователем текст с уже существующими публикациями в открытом вебе, а не для системного накопления обучающего датасета. Это тот же паттерн, что уже разбирался для Outwrite (тоже сервис проверки текста с функцией сверки на плагиат) и Articoolo: обращение к конкретной странице происходит по факту запуска конкретной проверки конкретным пользователем платформы, а не ради постоянного фонового обхода.

Параметры бота

Почему исходная классификация «сырьё для AI-продукта» неточна

Формулировка предполагает, что цель бота — накопление контента как материала для тренировки или дообучения языковой модели. Но по факту функциональности сервиса куда правдоподобнее другое: как и у большинства встроенных плагиат-чекеров (Turnitin, Copyscape, на котором и построена эта функция у самого Rytr), задача — не собрать контент впрок, а на лету сверить конкретный текст пользователя с уже опубликованным материалом. Разница принципиальная: обучающий краулер системно проходит по сайту ради накопления корпуса; плагиат-чекер обращается к конкретной странице ровно тогда, когда кто-то запускает конкретную проверку.

Как проверить эту гипотезу по своим логам

# Базовый поиск
grep -i "rytr" /var/log/nginx/access.log

# Точечные обращения или системный обход?
grep -i "rytr" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Единичные, разрозненные обращения к конкретным страницам без глубокого прохода по всему каталогу соответствуют гипотезе о точечной проверке на плагиат; заметный, регулярный и широкий обход — повод пересмотреть эту версию и отнестись к трафику с большей осторожностью.

Стоит ли блокировать

• если гипотеза о плагиат-проверке верна, присутствие бота — скорее нейтральный факт: чей-то пользователь Rytr сверяет свой текст с содержимым сайта, что не приносит прямой выгоды владельцу, но и не является массовым сбором контента для конкурирующего продукта;
• если объём запросов заметен и нежелателен независимо от причины — блокировка не несёт последствий для видимости в поисковых системах;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как заблокировать

Стандартный запрет через robots.txt:

User-agent: rytr
Disallow: /

Поскольку официального подтверждения соблюдения robots.txt для этого агента не найдено, для надёжности запрет стоит продублировать на уровне сервера:

if ($http_user_agent ~* "rytr") {
    return 403;
}

Если полный запрет избыточен при небольшом точечном объёме, разумная альтернатива — ограничение частоты вместо жёсткой блокировки:

limit_req_zone $binary_remote_addr zone=rytr:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "rytr") {
        limit_req zone=rytr burst=20 nodelay;
    }
}