Writesonic в логах: конкурентный анализ, не краулер

Строка writesonic в логах легко принять за очередного обучающего AI-краулера — но Writesonic (компания за этим именем, при поддержке Y Combinator) прямо заявляет, что данные клиентов никогда не используются для обучения моделей. Разбираемся, почему визит такого бота логичнее объяснять конкурентным SEO-анализом, а не сбором сырья для обучения.

Что такое Writesonic на самом деле

Writesonic — «всё в одном» платформа для контент-маркетинга и SEO при поддержке Y Combinator: флагманский AI Article Writer генерирует статьи до 5000 слов, анализируя более 100 источников и контент конкурентов по теме, есть SEO Checker с конкурентным анализом ключевых слов, Content Gap Analysis и отдельный модуль отслеживания видимости бренда в AI-поисковиках (ChatGPT, Perplexity, Gemini). Ключевая для понимания визита бота деталь описана самой компанией: инструмент «изучает топовый контент конкурентов», чтобы построить структуру и рекомендации для нового материала клиента.

Параметр	Значение
Название	Writesonic
User-Agent / паттерн	writesonic
Оператор	Writesonic — GEO/SEO-платформа контент-маркетинга при поддержке Y Combinator
Категория TrafficVeil	Пользовательский инструмент конкурентного SERP-анализа и контент-брифов (не подтверждённый обучающий краулер)
Наиболее вероятная причина визита	Клиент Writesonic анализирует тему, где ваша страница входит в топ выдачи, — сервис изучает её структуру, ключевые слова и заголовки для брифа или SEO-проверки
Список IP	❌ Публичного списка нет; проверяйте ASN и поведение
robots.txt	Отдельной технической документации по краулеру для стороннего анализа компания не публикует
Пометка TrafficVeil	Легитимный, но с оговоркой — официального подтверждения точной механики визита от Writesonic нет

Честная оговорка: Writesonic хорошо задокументирована как продукт, но отдельной публичной страницы про поведение краулера, обращающегося к сторонним сайтам ради конкурентного анализа, не нашлось. «Наиболее вероятная причина» — обоснованный вывод из прямого описания функций компанией, а не подтверждённый факт с точным механизмом.

Почему это не тот же риск, что у обучающих краулеров

Writesonic прямо заявляет политику нулевого удержания данных и explicitly говорит, что данные клиентов не используются для обучения AI-моделей компании, — это принципиально другая позиция, чем у GPTBot или CCBot. Логика продукта: клиент сервиса пишет собственный контент и хочет свериться с тем, что уже хорошо ранжируется по теме или доминирует в ответах AI-поисковиков, — для этого Writesonic анализирует структуру и данные страниц-конкурентов. Если ваша страница попала в такой анализ, это, скорее всего, означает, что она хорошо заметна по теме и служит ориентиром для чужой контент-стратегии.

Как найти Writesonic в логах

# Базовый поиск
grep -i "writesonic" /var/log/nginx/access.log

# Какие страницы вычитывает бот
grep -i "writesonic" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "writesonic" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Официального списка IP нет, поэтому верификация особенно важна:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

Обращение к странице, реально заметной по своей теме в поиске, соответствует гипотезе о конкурентном SEO-анализе. Системный обход множества несвязанных разделов сайта — сигнал сверить IP отдельно.

robots.txt и настройка через TrafficVeil

# Разрешить
User-agent: writesonic
Allow: /

# Закрыть чувствительные разделы
User-agent: writesonic
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /

TrafficVeil: при разовых или нечастых визитах — allow без rate-limit, заметной нагрузки такой трафик обычно не создаёт. Переключать на «запретить» стоит, если принципиально не хочется, чтобы структура страниц служила ориентиром для чужих контент-стратегий через AI-инструменты, — независимо от объёма нагрузки.

С кем можно перепутать Writesonic

Инструмент	Назначение
Frase AI / Neural Text / Scalenut / WriterZen	Тот же принцип — анализ топовых страниц по теме для построения контент-брифа
CrawlQ AI / Kafkai	Также анализируют конкурентов по запросу клиента при построении контент-стратегии

Что в итоге делать с Writesonic

Ситуация	Действие
Визиты редкие, к страницам, реально заметным по теме	Allow без rate-limit
Поведение похоже на постоянный системный обход	Rate-limit, затем Disallow / запрет в TrafficVeil
Принципиально нежелательно быть ориентиром для чужих контент-стратегий	Disallow сразу, без промежуточных шагов
Подозрение на спуфинг UA	Сверять по ASN и характеру запросов, а не по одной строке