Строка scalenut в логах легко принять за очередного обучающего AI-краулера — но Scalenut (компания за этим именем) — SEO- и контент-маркетинговая платформа с более чем миллионом пользователей, а не оператор фундаментальной модели. Разбираемся, почему визит такого бота логичнее объяснять конкурентным SEO-исследованием, а не сбором сырья для обучения.
Что такое Scalenut на самом деле
Scalenut — индийская AI-SEO-платформа (запущена в 2022 году, инвестиции $3,1 млн, среди инвесторов — бывший старший вице-президент Google Амит Сингхал): исследование ключевых слов и кластеризация тем, SERP-анализ, построение контент-брифов, AI-написание и оптимизация текста, а с недавних пор — и отслеживание видимости бренда в ответах AI-поисковиков (GEO). Пользователи сервиса прямо отмечают функцию сверки статьи с топовыми результатами выдачи как одну из ключевых — именно это исследование конкурентов в SERP чаще всего объясняет обращение бота к постороннему сайту.
| Параметр | Значение |
| Название | Scalenut |
| User-Agent / паттерн | scalenut |
| Оператор | Scalenut — AI-SEO и контент-маркетинговая платформа, с 2022 года |
| Категория TrafficVeil | Пользовательский инструмент SERP-исследования и контент-брифов (не подтверждённый обучающий краулер) |
| Наиболее вероятная причина визита | Клиент Scalenut исследует тему, где ваша страница входит в топ выдачи, — сервис анализирует её для брифа, оптимизации или конкурентного сравнения |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Отдельной технической документации по краулеру для стороннего SERP-анализа компания не публикует |
| Пометка TrafficVeil | Легитимный, но с оговоркой — официального подтверждения механики визита от Scalenut нет |
Честная оговорка: Scalenut хорошо задокументирована как продукт, но отдельной публичной страницы про поведение краулера, обращающегося к сторонним сайтам ради SERP-анализа, не нашлось. «Наиболее вероятная причина» — обоснованный вывод из описания самого продукта, а не подтверждённый факт.
Почему это не тот же риск, что у обучающих краулеров
Scalenut не заявляет себя оператором масштабного обучающего краулера вроде GPTBot или CCBot. Логика продукта прямо противоположная: клиент сервиса пишет собственный контент и хочет свериться с тем, что уже хорошо ранжируется по теме, — для этого Scalenut анализирует структуру и данные страниц-конкурентов в топе выдачи. Если ваша страница попала в такой анализ, это, скорее всего, означает, что она хорошо ранжируется и служит ориентиром для чужого контент-плана — не утечку текста в обучающий корпус.
Как найти Scalenut в логах
# Базовый поиск
grep -i "scalenut" /var/log/nginx/access.log
# Какие страницы вычитывает бот
grep -i "scalenut" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "scalenut" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
Официального списка IP нет, поэтому верификация особенно важна:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
Обращение к странице, реально находящейся в топе выдачи по своей теме, соответствует гипотезе о SERP-исследовании для брифа или конкурентного сравнения. Системный обход множества несвязанных разделов сайта — сигнал сверить IP отдельно.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
robots.txt и настройка через TrafficVeil
# Разрешить
User-agent: scalenut
Allow: /
# Закрыть чувствительные разделы
User-agent: scalenut
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /
TrafficVeil: при разовых или нечастых визитах — allow без rate-limit, заметной нагрузки такой трафик обычно не создаёт. Переключать на «запретить» стоит, если принципиально не хочется, чтобы структура страниц служила ориентиром для чужих контент-брифов через AI-инструменты, — независимо от объёма нагрузки.
С кем можно перепутать Scalenut
| Инструмент | Назначение |
| Frase AI / Neural Text | Тот же принцип — анализ топовых страниц по теме для построения контент-брифа |
| CrawlQ AI / Kafkai | Также анализируют конкурентов по запросу клиента при построении контент-стратегии |
Что в итоге делать со Scalenut
| Ситуация | Действие |
| Визиты редкие, к страницам, реально высоко ранжирующимся по теме | Allow без rate-limit |
| Поведение похоже на постоянный системный обход | Rate-limit, затем Disallow / запрет в TrafficVeil |
| Принципиально нежелательно быть ориентиром для чужих контент-брифов | Disallow сразу, без промежуточных шагов |
| Подозрение на спуфинг UA | Сверять по ASN и характеру запросов, а не по одной строке |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Значит ли визит Scalenut, что контент сайта пополнит обучающую выборку модели?
Чем вообще занимается Scalenut как продукт?
Почему визит Scalenut может означать, что страница хорошо ранжируется?
Есть ли у Scalenut официальная документация про краулер, обращающийся к чужим сайтам?
Как отличить обычный визит Scalenut от подозрительного поведения?
С какими инструментами логично сравнивать Scalenut по механике поведения?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.