Если в логах сайта вдруг замелькала строка wordtune, а в Метрике или GA рядом — ноль реальных сессий, не спешите пугаться DDoS. Скорее всего, это один из представителей категории «AI и LLM-краулеры» в каталоге TrafficVeil: заметный, но не общеизвестный автоматизированный клиент, вокруг которого стоит разобраться до того, как принимать решение allow/deny.
Что такое Wordtune и почему это не Googlebot
Название Wordtune совпадает с известным AI-сервисом для переписывания текста от израильской компании AI21 Labs — тем самым расширением для Chrome, которым пользуются десятки миллионов человек для перефразирования писем и постов. Но в логах веб-сервера токен wordtune относится не к пользовательскому расширению, а к автоматизированному клиенту, который обращается к URL без участия человека из браузера. Официального публичного списка IP или подробной документации именно для этого агента у оператора нет — приходится опираться на связку UA + поведение + ASN, а не на одну строку заголовка.
| Параметр | Значение |
| Название | Wordtune |
| User-Agent / паттерн | wordtune |
| Оператор | не раскрыт публично; ассоциируется с экосистемой AI21 Labs (разработчик сервиса Wordtune) |
| Роль | Визиты чаще связаны с наполнением AI-индекса или обучающей/retrieval-выборкой, а не с классической поисковой выдачей |
| Документация / ориентир | Публичная документация зависит от оператора; опирайтесь на UA + поведение + ASN |
| Список IP | Отдельного полного списка именно для этого UA обычно нет; проверяйте ASN и не доверяйте только строке UA |
| robots.txt | Крупные операторы чаще соблюдают; технические клиенты и user-initiated fetchers — не всегда |
| Пометка TrafficVeil | Легитимный / AI и LLM-краулеры |
Зачем Wordtune может приходить на сайт
Однозначного технического описания механизма от оператора нет, но у гипотезы есть разумное объяснение. У сервиса Wordtune давно существует функция Spices — генеративные подсказки с цитированием источников: сервис подбирает факты, статистику и ссылки под текст, который пишет пользователь. Для этого где-то на бэкенде нужен механизм, который умеет забирать содержимое сторонних страниц. Отсюда — правдоподобные сценарии визитов:
- подбор фактов и цитат для функции с указанием источников;
- наполнение AI-индекса или retrieval-выборки для генеративных ответов;
- разовый user-initiated fetch — когда пользователь сервиса сам вставил ссылку на вашу страницу как контекст.
Какие зоны сайта чаще всего затрагивает такой обход: /blog/, /product/, /category/, /news/, открытый /api/, страницы пагинации каталога. От обычного посетителя браузера такой трафик отличается просто: нет нормальной сессии, интервалы между запросами не похожи на поведение человека, и повторяется один и тот же path-паттерн.
Нагрузка и на что смотреть в первую очередь
Отдельной строки в публичной сводке топ-ботов у wordtune может не быть, но для всей категории AI-краулеров характерен один и тот же фон: нагрузка «тихая» — это не DDoS в классическом понимании, а постоянный съём HTML и медленный, но заметный рост bandwidth. Абсолютный RPS здесь вторичен, важнее качество хитов:
- глубина обхода — идёт ли бот вглубь каталога или топчется на нескольких URL;
- повторы одних и тех же адресов без видимой причины;
- полное отсутствие cookie и признаков сессии;
- концентрация запросов на служебных или, наоборот, самых «листовых» страницах.
Как найти Wordtune в логах
Не ищите «просто ботов» — ищите конкретный токен wordtune и сразу смотрите его окружение: с каких IP идут запросы, в какое время суток и по каким URL.
# Базовый поиск
grep -i "wordtune" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "wordtune" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "wordtune" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "wordtune" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Дальше — верификация: подделать User-Agent может любой скрипт, поэтому для решения allow/deny смотрите связку UA + ASN/IP + частота + набор URL. Например, если строка UA заявляет wordtune, а сам IP принадлежит ASN дата-центра общего назначения без публичной привязки к AI21 Labs — это повод отнестись к запросам строже, чем к «доверенному» AI-краулеру.
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
Правила robots.txt для Wordtune
# Жёсткий запрет User-agent: wordtune Disallow: / # Разрешить всё User-agent: wordtune Allow: / # Компромисс: закрыть деньги/кабинет, оставить публичную часть User-agent: wordtune Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /account/ Disallow: /api/ Allow: /
Важно понимать ограничение самого механизма: robots.txt — это просьба, а не барьер. Если агент её игнорирует, единственный рабочий вариант — переходить к блокировке на уровне nginx/Apache или через TrafficVeil.
Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "wordtune") {
return 403;
}
limit_req_zone $binary_remote_addr zone=wordtune:10m rate=10r/m;
location / {
if ($http_user_agent ~* "wordtune") {
limit_req zone=wordtune burst=20 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} wordtune [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- найдите wordtune / Wordtune в разделе ботов домена или в
/system/bots; - для нежелательного сценария выбирайте категорию «запретить», для мягкого — rate-limit;
- allow оставляйте только при явной пользе от Wordtune для вашего сайта;
- после изменения сверьте логи — хиты Wordtune должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.
С кем не путать Wordtune
| Бот / сосед | Кластер | UA | Комментарий |
| AI Article Writer | AI и LLM-краулеры | ai article writer | легитимный |
| AI Content Detector | AI и LLM-краулеры | ai content detector | легитимный |
| AI Dungeon | AI и LLM-краулеры | ai dungeon | легитимный |
| AI SEO Crawler | AI и LLM-краулеры | ai seo crawler | легитимный |
| AI Search Engine | AI и LLM-краулеры | ai search engine | легитимный |
Стратегия allow/deny для Wordtune
| Ситуация | Действие |
| Нужна польза от оператора (несмотря на непубличный статус) | Allow + закрыть /admin /cart /api |
| Только мешает и потребляет ресурсы | Disallow + запрет в TrafficVeil |
| Доступ нужен, но пики нагрузки приходятся на ночь | Rate-limit на nginx/TrafficVeil |
| Бот отмечен как нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Есть подозрение на спуфинг UA | Не доверять строке UA, смотреть IP/ASN и поведение |
Итог простой: Wordtune пока не в числе крупных, документированных AI-краулеров вроде GPTBot или ClaudeBot, поэтому решение по нему стоит принимать не «на всякий случай», а по фактической пользе для бизнеса и по реальному отпечатку в логах — благо, инструменты для этого под рукой у любого, кто уже настроил TrafficVeil.