Строка scalenut в логах легко принять за очередного обучающего AI-краулера — но Scalenut (компания за этим именем) — SEO- и контент-маркетинговая платформа с более чем миллионом пользователей, а не оператор фундаментальной модели. Разбираемся, почему визит такого бота логичнее объяснять конкурентным SEO-исследованием, а не сбором сырья для обучения.
Что такое Scalenut на самом деле
Scalenut — индийская AI-SEO-платформа (запущена в 2022 году, инвестиции $3,1 млн, среди инвесторов — бывший старший вице-президент Google Амит Сингхал): исследование ключевых слов и кластеризация тем, SERP-анализ, построение контент-брифов, AI-написание и оптимизация текста, а с недавних пор — и отслеживание видимости бренда в ответах AI-поисковиков (GEO). Пользователи сервиса прямо отмечают функцию сверки статьи с топовыми результатами выдачи как одну из ключевых — именно это исследование конкурентов в SERP чаще всего объясняет обращение бота к постороннему сайту.
| Параметр | Значение |
| Название | Scalenut |
| User-Agent / паттерн | scalenut |
| Оператор | Scalenut — AI-SEO и контент-маркетинговая платформа, с 2022 года |
| Категория TrafficVeil | Пользовательский инструмент SERP-исследования и контент-брифов (не подтверждённый обучающий краулер) |
| Наиболее вероятная причина визита | Клиент Scalenut исследует тему, где ваша страница входит в топ выдачи, — сервис анализирует её для брифа, оптимизации или конкурентного сравнения |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Отдельной технической документации по краулеру для стороннего SERP-анализа компания не публикует |
| Пометка TrafficVeil | Легитимный, но с оговоркой — официального подтверждения механики визита от Scalenut нет |
Честная оговорка: Scalenut хорошо задокументирована как продукт, но отдельной публичной страницы про поведение краулера, обращающегося к сторонним сайтам ради SERP-анализа, не нашлось. «Наиболее вероятная причина» — обоснованный вывод из описания самого продукта, а не подтверждённый факт.
Почему это не тот же риск, что у обучающих краулеров
Scalenut не заявляет себя оператором масштабного обучающего краулера вроде GPTBot или CCBot. Логика продукта прямо противоположная: клиент сервиса пишет собственный контент и хочет свериться с тем, что уже хорошо ранжируется по теме, — для этого Scalenut анализирует структуру и данные страниц-конкурентов в топе выдачи. Если ваша страница попала в такой анализ, это, скорее всего, означает, что она хорошо ранжируется и служит ориентиром для чужого контент-плана — не утечку текста в обучающий корпус.
Как найти Scalenut в логах
# Базовый поиск
grep -i "scalenut" /var/log/nginx/access.log
# Какие страницы вычитывает бот
grep -i "scalenut" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "scalenut" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headОфициального списка IP нет, поэтому верификация особенно важна:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"Обращение к странице, реально находящейся в топе выдачи по своей теме, соответствует гипотезе о SERP-исследовании для брифа или конкурентного сравнения. Системный обход множества несвязанных разделов сайта — сигнал сверить IP отдельно.
robots.txt и настройка через TrafficVeil
# Разрешить
User-agent: scalenut
Allow: /
# Закрыть чувствительные разделы
User-agent: scalenut
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /TrafficVeil: при разовых или нечастых визитах — allow без rate-limit, заметной нагрузки такой трафик обычно не создаёт. Переключать на «запретить» стоит, если принципиально не хочется, чтобы структура страниц служила ориентиром для чужих контент-брифов через AI-инструменты, — независимо от объёма нагрузки.
С кем можно перепутать Scalenut
| Инструмент | Назначение |
| Frase AI / Neural Text | Тот же принцип — анализ топовых страниц по теме для построения контент-брифа |
| CrawlQ AI / Kafkai | Также анализируют конкурентов по запросу клиента при построении контент-стратегии |
Что в итоге делать со Scalenut
| Ситуация | Действие |
| Визиты редкие, к страницам, реально высоко ранжирующимся по теме | Allow без rate-limit |
| Поведение похоже на постоянный системный обход | Rate-limit, затем Disallow / запрет в TrafficVeil |
| Принципиально нежелательно быть ориентиром для чужих контент-брифов | Disallow сразу, без промежуточных шагов |
| Подозрение на спуфинг UA | Сверять по ASN и характеру запросов, а не по одной строке |