ScalenutBot: бот AI-платформы SEO с миллионом пользователей — не сырьё для чужого обучения

ScalenutBot, вероятнее всего, принадлежит Scalenut — крупной AI-платформе для SEO и контент-маркетинга с более чем миллионом пользователей по всему миру, которая позиционирует себя как инструмент «от брифа до позиций в выдаче» и делает акцент не только на классическом Google-ранжировании, но и на видимости бренда в ответах AI-систем (GEO/AEO-оптимизация). Это не малоизвестный стартап на грани анонимности, а заметный, давно работающий игрок рынка контент-инструментов.

Зачем такой платформе нужен обход сторонних сайтов

Судя по описанию продукта, Scalenut совмещает несколько связанных функций, каждая из которых логично объясняет обход сторонних страниц: анализ SERP-данных и контента конкурентов для построения контент-стратегии, кластеризацию ключевых слов на основе того, что уже хорошо ранжируется, и отдельный AI Traffic Monitor — инструмент, который показывает клиентам платформы, как именно AI-краулеры (GPTBot, ClaudeBot, OAI-SearchBot и другие) обходят их собственный сайт. Для первых двух функций платформе нужно на лету анализировать содержимое реально ранжирующихся страниц конкурентов клиента — та же логика, что уже разбиралась для Surfer AI, ClearScope и MarketMuse в этой серии.

Параметры бота

Почему шаблонная классификация «сырьё для AI-пайплайна» здесь неточна

Формулировка предполагает, что цель бота — накопление контента как материала для обучения генеративной модели общего назначения. Но бизнес-модель Scalenut, судя по описанию продукта, другая: платформа продаёт клиентам доступ к анализу конкурентного контентного и AI-поискового ландшафта по конкретным темам и брендам — той же логике, что уже применялась к нескольким инструментам контент-стратегии в этой серии. Обход сторонних сайтов здесь — исследовательская функция внутри оплачиваемого продукта, а не сбор сырья для тренировки чужой модели.

Как найти бота в логах

# Базовый поиск
grep -i "scalenutbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "scalenutbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Поскольку официального списка IP нет, для проверки подлинности при аномальной активности стоит свериться с ASN конкретных IP через whois.

Стоит ли блокировать

• если сайт хорошо ранжируется по коммерчески важным темам, он с высокой вероятностью периодически анализируется подобными платформами в рамках исследования конкурентного контента для чужих клиентов — прямой выгоды владельцу сайта это не приносит, но используется только структурная и тематическая информация, а не публикация исходного текста;
• если сайт сам является клиентом Scalenut — обход, вероятно, частично работает и в его собственных интересах при анализе конкурентов;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — сам факт анализа выдачи сторонним инструментом не меняет ранжирование анализируемых страниц.

Как заблокировать или разрешить

Стандартный запрет через robots.txt:

User-agent: scalenutbot
Disallow: /

Явное разрешение, если сайт заинтересован в присутствии в подобном конкурентном анализе:

User-agent: scalenutbot
Allow: /

if ($http_user_agent ~* "scalenutbot") {
    return 403;
}

Если полный запрет избыточен, а беспокоит лишь фоновая нагрузка, разумная альтернатива — ограничение частоты:

limit_req_zone $binary_remote_addr zone=scalenutbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "scalenutbot") {
        limit_req zone=scalenutbot burst=20 nodelay;
    }
}