Строка neural text в логах легко принять за очередного обучающего AI-краулера — но NeuralText (компания за этим именем) — SEO-платформа для контент-маркетологов, а не оператор фундаментальной модели. Разбираемся, почему визит такого бота логичнее объяснять исследованием топа выдачи для чужого контент-брифа, а не сбором сырья для обучения.
Что такое Neural Text на самом деле
NeuralText — платформа контент-маркетинга и SEO: исследование ключевых слов и их кластеризация, SERP-анализ конкурентов, построение контент-брифов и AI-написание текста на их основе. Ключевая для понимания визита бота функция — сервис анализирует топовые по теме страницы конкурентов, чтобы построить бриф со структурой и темами для нового материала клиента; именно это исследование конкурентов в выдаче — самая вероятная причина обращения бота к постороннему сайту.
| Параметр | Значение |
| Название | Neural Text |
| User-Agent / паттерн | neural text |
| Оператор | NeuralText — SEO- и контент-маркетинговая платформа |
| Категория TrafficVeil | Пользовательский инструмент SERP-исследования для контент-брифов (не подтверждённый обучающий краулер) |
| Наиболее вероятная причина визита | Клиент NeuralText исследует тему, где ваша страница входит в топ выдачи, — сервис анализирует её для построения контент-брифа или кластеризации ключевых слов |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Отдельной технической документации по краулеру для стороннего SERP-анализа компания не публикует |
| Пометка TrafficVeil | Легитимный, но с оговоркой — официального подтверждения механики визита от NeuralText нет |
Честная оговорка: NeuralText хорошо задокументирована как продукт, но отдельной публичной страницы про поведение краулера, обращающегося к сторонним сайтам ради SERP-анализа, не нашлось. «Наиболее вероятная причина» — обоснованный вывод из описания самого продукта, а не подтверждённый факт.
Почему это не тот же риск, что у обучающих краулеров
NeuralText не заявляет себя оператором масштабного обучающего краулера вроде GPTBot или CCBot. Логика продукта прямо противоположная: клиент сервиса пишет собственный контент и хочет понять, что уже хорошо ранжируется по теме, — для этого NeuralText анализирует структуру и темы страниц-конкурентов в топе выдачи. Если ваша страница попала в такой анализ, это, скорее всего, означает, что она хорошо ранжируется и служит ориентиром для чужого контент-плана — не утечку текста в обучающий корпус.
Как найти Neural Text в логах
# Базовый поиск
grep -i "neural text" /var/log/nginx/access.log
# Какие страницы вычитывает бот
grep -i "neural text" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "neural text" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headОфициального списка IP нет, поэтому верификация особенно важна:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"Обращение к странице, реально находящейся в топе выдачи по своей теме, соответствует гипотезе о SERP-исследовании для брифа. Системный обход множества несвязанных разделов сайта — сигнал сверить IP отдельно.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
robots.txt и настройка через TrafficVeil
# Разрешить
User-agent: neural text
Allow: /
# Закрыть чувствительные разделы
User-agent: neural text
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /TrafficVeil: при разовых или нечастых визитах — allow без rate-limit, заметной нагрузки такой трафик обычно не создаёт. Переключать на «запретить» стоит, если принципиально не хочется, чтобы структура страниц служила ориентиром для чужих контент-брифов через AI-инструменты, — независимо от объёма нагрузки.
С кем можно перепутать Neural Text
| Инструмент | Назначение |
| Frase AI | Тот же принцип — анализ топовых страниц по теме для построения контент-брифа |
| CrawlQ AI / Kafkai | Также анализируют конкурентов по запросу клиента при построении контент-стратегии |
Что в итоге делать с Neural Text
| Ситуация | Действие |
| Визиты редкие, к страницам, реально высоко ранжирующимся по теме | Allow без rate-limit |
| Поведение похоже на постоянный системный обход | Rate-limit, затем Disallow / запрет в TrafficVeil |
| Принципиально нежелательно быть ориентиром для чужих контент-брифов | Disallow сразу, без промежуточных шагов |
| Подозрение на спуфинг UA | Сверять по ASN и характеру запросов, а не по одной строке |
Частые вопросы
Значит ли визит Neural Text, что контент сайта пополнит обучающую выборку модели?
Чем вообще занимается NeuralText как продукт?
Почему визит Neural Text может означать, что страница хорошо ранжируется?
Есть ли у NeuralText официальная документация про краулер, обращающийся к чужим сайтам?
Как отличить обычный визит Neural Text от подозрительного поведения?
С какими инструментами логично сравнивать Neural Text по механике поведения?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.