Строка neural text в логах легко принять за очередного обучающего AI-краулера — но NeuralText (компания за этим именем) — SEO-платформа для контент-маркетологов, а не оператор фундаментальной модели. Разбираемся, почему визит такого бота логичнее объяснять исследованием топа выдачи для чужого контент-брифа, а не сбором сырья для обучения.
Что такое Neural Text на самом деле
NeuralText — платформа контент-маркетинга и SEO: исследование ключевых слов и их кластеризация, SERP-анализ конкурентов, построение контент-брифов и AI-написание текста на их основе. Ключевая для понимания визита бота функция — сервис анализирует топовые по теме страницы конкурентов, чтобы построить бриф со структурой и темами для нового материала клиента; именно это исследование конкурентов в выдаче — самая вероятная причина обращения бота к постороннему сайту.
| Параметр | Значение |
| Название | Neural Text |
| User-Agent / паттерн | neural text |
| Оператор | NeuralText — SEO- и контент-маркетинговая платформа |
| Категория TrafficVeil | Пользовательский инструмент SERP-исследования для контент-брифов (не подтверждённый обучающий краулер) |
| Наиболее вероятная причина визита | Клиент NeuralText исследует тему, где ваша страница входит в топ выдачи, — сервис анализирует её для построения контент-брифа или кластеризации ключевых слов |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Отдельной технической документации по краулеру для стороннего SERP-анализа компания не публикует |
| Пометка TrafficVeil | Легитимный, но с оговоркой — официального подтверждения механики визита от NeuralText нет |
Честная оговорка: NeuralText хорошо задокументирована как продукт, но отдельной публичной страницы про поведение краулера, обращающегося к сторонним сайтам ради SERP-анализа, не нашлось. «Наиболее вероятная причина» — обоснованный вывод из описания самого продукта, а не подтверждённый факт.
Почему это не тот же риск, что у обучающих краулеров
NeuralText не заявляет себя оператором масштабного обучающего краулера вроде GPTBot или CCBot. Логика продукта прямо противоположная: клиент сервиса пишет собственный контент и хочет понять, что уже хорошо ранжируется по теме, — для этого NeuralText анализирует структуру и темы страниц-конкурентов в топе выдачи. Если ваша страница попала в такой анализ, это, скорее всего, означает, что она хорошо ранжируется и служит ориентиром для чужого контент-плана — не утечку текста в обучающий корпус.
Как найти Neural Text в логах
# Базовый поиск
grep -i "neural text" /var/log/nginx/access.log
# Какие страницы вычитывает бот
grep -i "neural text" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "neural text" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headОфициального списка IP нет, поэтому верификация особенно важна:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"Обращение к странице, реально находящейся в топе выдачи по своей теме, соответствует гипотезе о SERP-исследовании для брифа. Системный обход множества несвязанных разделов сайта — сигнал сверить IP отдельно.
robots.txt и настройка через TrafficVeil
# Разрешить
User-agent: neural text
Allow: /
# Закрыть чувствительные разделы
User-agent: neural text
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /TrafficVeil: при разовых или нечастых визитах — allow без rate-limit, заметной нагрузки такой трафик обычно не создаёт. Переключать на «запретить» стоит, если принципиально не хочется, чтобы структура страниц служила ориентиром для чужих контент-брифов через AI-инструменты, — независимо от объёма нагрузки.
С кем можно перепутать Neural Text
| Инструмент | Назначение |
| Frase AI | Тот же принцип — анализ топовых страниц по теме для построения контент-брифа |
| CrawlQ AI / Kafkai | Также анализируют конкурентов по запросу клиента при построении контент-стратегии |
Что в итоге делать с Neural Text
| Ситуация | Действие |
| Визиты редкие, к страницам, реально высоко ранжирующимся по теме | Allow без rate-limit |
| Поведение похоже на постоянный системный обход | Rate-limit, затем Disallow / запрет в TrafficVeil |
| Принципиально нежелательно быть ориентиром для чужих контент-брифов | Disallow сразу, без промежуточных шагов |
| Подозрение на спуфинг UA | Сверять по ASN и характеру запросов, а не по одной строке |