Writecream в логах сайта: что это за бот и нужно ли его блокировать

Writecream — AI-платформа для создания текстового и визуального контента. Официальный сайт предлагает инструменты для генерации статей, SEO-контента, рекламных текстов, описаний, изображений и других материалов.

Отдельно от самого продукта в публичных списках User-Agent встречается токен:

Writecream

Его добавляют, в частности, в различные списки автоматизированных и AI-клиентов для robots.txt или серверной фильтрации.

Однако здесь важно не делать слишком сильный вывод. На момент проверки нам не удалось найти официальную документацию Writecream, которая описывала бы собственный массовый crawler, публиковала его IP-диапазоны или подтверждала использование веб-контента именно для обучения моделей.

Поэтому для TrafficVeil правильнее считать Writecream наблюдаемым автоматизированным клиентом, предположительно связанным с AI-сервисом Writecream, но с недостаточно документированным назначением.

Что известно о самом сервисе Writecream

Writecream действительно относится к AI-продуктам. Компания предлагает собственные инструменты для генерации контента, включая статьи, маркетинговые тексты, product descriptions, social content и изображения.

На сайте Writecream также доступны отдельные инструменты для генерации статей, сценариев и другого текста.

Но из этого нельзя автоматически заключать:

• что Writecream постоянно обходит весь интернет;
• что любой запрос с UA Writecream принадлежит компании;
• что полученный контент используется для fine-tuning;
• что бот является training crawler;
• что все запросы относятся к одному техническому продукту.

Почему исходная классификация AI crawler слишком категорична

Сам факт того, что компания производит AI-продукт, не превращает любой связанный с ней HTTP-клиент в LLM-training crawler.

Например, автоматический запрос может использоваться для:

• получения страницы по URL, переданному пользователем;
• анализа текста;
• SEO-инструмента;
• импорта контента;
• проверки URL;
• внутренней функции продукта;
• другого сервисного сценария.

Без документации оператора невозможно точно определить конкретный вариант.

Почему Writecream встречается в списках AI-ботов

Токен Writecream присутствует в сторонних community blocklist, где веб-мастера перечисляют AI-инструменты и автоматизированные агенты, доступ которых они хотят ограничить.

Это полезный сигнал для обнаружения, но не доказательство назначения.

Нужно разделять:

токен существует в blocklist

и:

оператор официально документировал crawler и его назначение

Для Writecream первое подтверждается значительно лучше второго.

Зачем Writecream может обращаться к сайту

Если в access.log регулярно появляется Writecream, это означает автоматизированный HTTP-доступ, но назначение лучше определять по самому паттерну запросов.

Например, если запрашивается один URL после действий пользователя:

/article/example

это может быть похоже на user-initiated fetch или импорт страницы.

Если клиент последовательно обходит:

/blog/
/news/
/products/
/category/

это уже больше напоминает crawling.

А если появляются:

/.env
/.git/config
/wp-login.php
/backup.zip
/phpmyadmin/

такой профиль нельзя считать нормальным только потому, что User-Agent называется Writecream.

Как найти Writecream в access.log

Базовый поиск:

grep -i "writecream" /var/log/nginx/access.log

Количество запросов:

grep -ic "writecream" /var/log/nginx/access.log

Самые часто посещаемые URL:

grep -i "writecream" /var/log/nginx/access.log \
| awk '{print $7}' \
| sort \
| uniq -c \
| sort -rn \
| head -30

Топ IP:

grep -i "writecream" /var/log/nginx/access.log \
| awk '{print $1}' \
| sort \
| uniq -c \
| sort -rn \
| head -30

HTTP-коды:

grep -i "writecream" /var/log/nginx/access.log \
| awk '{print $9}' \
| sort \
| uniq -c \
| sort -rn

Посмотрите HTTP-методы

Для неизвестного сервисного клиента полезно проверить не только URL, но и методы запросов:

grep -i "writecream" /var/log/nginx/access.log \
| awk -F'"' '{print $2}' \
| awk '{print $1}' \
| sort \
| uniq -c \
| sort -rn

Например, обычный массовый fetch публичных страниц чаще будет представлен GET/HEAD, тогда как неожиданный поток POST, PUT или DELETE требует отдельного анализа.

Почему одного User-Agent недостаточно

User-Agent полностью контролируется HTTP-клиентом.

Любой скрипт способен отправить:

User-Agent: Writecream

Поэтому TrafficVeil не должен автоматически применять:

Writecream → Trusted → Allow

только по совпадению строки.

Как верифицировать Writecream

Поскольку официального crawler verification feed найти не удалось, идентификацию лучше строить по нескольким сигналам:

• User-Agent;
• IP;
• ASN;
• ASN organization;
• network type;
• reverse DNS;
• TLS fingerprint;
• HTTP fingerprint;
• частота запросов;
• набор URL;
• история источника.

Какие данные особенно полезны TrafficVeil

Для каждого наблюдаемого IP стоит хранить:

asn
asn_org
network_type
is_datacenter
is_proxy
is_vpn
is_tor

Это помогает отличить стабильный сервисный клиент из датацентровой инфраструктуры от клиента с тем же UA, который вращается по residential proxy.

Observed IP не означает официальный IP Writecream

Если TrafficVeil увидел:

203.0.113.10 → User-Agent: Writecream

это означает лишь:

с этого IP был отправлен UA Writecream.

Это не означает:

IP официально принадлежит Writecream.

Как выглядит возможный spoofing Writecream

Например:

User-Agent: Writecream

GET /.env
GET /.git/config
GET /wp-config.php.bak
GET /backup.sql
GET /vendor/phpunit/
GET /admin/login

Такое поведение нужно классифицировать как scanning или suspicious automation независимо от названия.

TrafficVeil может показывать:

Claimed UA: Writecream — identity not verified.

Соблюдает ли Writecream robots.txt

Подтверждённую crawler-policy Writecream найти не удалось.

Интересно, что сама Writecream в 2026 году опубликовала инструмент для создания и анализа robots.txt, то есть компания хорошо знакома с этим стандартом. Но это не является доказательством поведения конкретного автоматизированного клиента Writecream.

Поэтому значение для TrafficVeil:

robots.txt compliance: Unverified

robots.txt для Writecream

Если владелец сайта хочет объявить запрет:

User-agent: Writecream
Disallow: /

Частичное ограничение:

User-agent: Writecream
Disallow: /admin/
Disallow: /account/
Disallow: /checkout/
Disallow: /internal/
Allow: /

После изменения стоит проверить access.log и увидеть, изменилось ли поведение клиента.

Почему robots.txt недостаточно для защиты контента

robots.txt — декларация политики crawling.

Он не делает страницу приватной.

Если содержимое не должно быть доступно сторонним клиентам вообще, используйте:

• authentication;
• authorization;
• WAF;
• ACL;
• закрытые API;
• серверные правила.

Блокировка Writecream через Nginx

if ($http_user_agent ~* "writecream") {
    return 403;
}

Это простая блокировка по UA. Она остановит как предполагаемый Writecream, так и любой сторонний клиент, использующий это имя.

Блокировка через Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} writecream [NC]
RewriteRule ^ - [F,L]

Когда лучше использовать Rate Limit

Если назначение источника неясно, но запросы не выглядят вредоносными, Rate Limit может быть промежуточным вариантом между Allow и Block.

Перед ограничением стоит посмотреть:

• RPS;
• RPM;
• Unique URLs;
• Unique IP;
• ASN;
• Bandwidth;
• Origin requests;
• Cache HIT/MISS.

Почему количество запросов само по себе мало что говорит

Например:

5000 запросов → CDN cache HIT

могут создать меньшую нагрузку, чем:

300 запросов → динамический PHP + тяжёлые SQL-запросы

Поэтому TrafficVeil стоит показывать Origin Impact, а не только hits.

Стоит ли считать Writecream нежелательным AI crawler

Автоматически — нет.

Writecream действительно является AI-сервисом.

Но официального подтверждения, что наблюдаемый UA используется как массовый training crawler, нет.

Поэтому более точная классификация:

AI Services
→ Unverified Automated Clients
→ Writecream

вместо:

AI Training Crawlers
→ Writecream

Повлияет ли блокировка Writecream на Google

Нет оснований считать Writecream частью Google Search.

Точечное правило:

User-agent: Writecream
Disallow: /

не является правилом для:

Googlebot
Googlebot-Image
AdsBot-Google
YandexBot

Повлияет ли блокировка на видимость в AI

Здесь тоже нельзя обещать слишком много.

Без подтверждённого назначения crawler нельзя уверенно говорить:

«заблокируете Writecream — потеряете AI-цитирования».

У нас нет надёжного подтверждения, что этот UA отвечает за общедоступный AI-search индекс или систему цитирования сайтов.

Поэтому корректнее формулировать:

Блокировка ограничит HTTP-доступ клиентов, идентифицирующих себя как Writecream, но точное влияние на функции продукта Writecream зависит от назначения этого клиента.

Как учитывать Writecream в аналитике

Если запрос определяется как автоматизация, его не стоит считать человеческим посещением.

Для TrafficVeil:

Automated Traffic
→ AI Services
→ Unverified Clients
→ Writecream

Рекомендуется:

• исключить из Human Traffic;
• не считать конверсией;
• не считать автоматически malicious;
• сохранять в bot analytics;
• отслеживать IP/ASN;
• анализировать URL;
• считать identity confidence.

Рекомендуемая карточка TrafficVeil

Стратегия Allow / Monitor / Rate Limit / Block

Что показывать пользователю TrafficVeil

Вместо:

«Writecream собирает ваш контент для AI. Рекомендуем запретить.»

лучше показывать:

Writecream — наблюдаемый автоматизированный клиент, связанный по названию с AI-платформой Writecream. Официальное назначение crawler и его инфраструктура не подтверждены. TrafficVeil рекомендует сначала оценить источник, запрашиваемые URL и нагрузку.

Итог

Writecream действительно является AI-платформой для создания контента, но этого недостаточно, чтобы считать любой HTTP-клиент с User-Agent Writecream массовым LLM-training crawler.

Токен Writecream встречается в публичных списках AI-ботов и правилах блокировки, поэтому использовать его для обнаружения автоматизации разумно. Но такие списки не заменяют официальную документацию оператора.

На момент проверки официального IP feed, crawler-policy и технической страницы верификации Writecream обнаружить не удалось.

Поэтому оптимальный статус для TrafficVeil — Observed / Low–Medium Confidence / Monitor.

Если дальнейшая телеметрия покажет стабильные ASN, fingerprint и характер запросов, confidence можно повысить. Если же под UA Writecream происходит security scanning или агрессивный scraping, источник следует классифицировать по фактическому поведению и блокировать независимо от названия.