Scrunchbot: официально не сканирует интернет — появляется только по настройке конкретного клиента

Официальная страница scrunch.com/bots даёт редко встречающуюся по чёткости гарантию: Scrunchbot заходит на сайт исключительно в ответ на настройку конкретного клиента (customer configuration) и прямо заявлено, что бот не занимается проактивным обходом или сканированием интернета в целом. Это меняет всю логику оценки — присутствие бота в логах почти всегда означает, что кто-то (клиент Scrunch AI) сознательно подключил именно этот сайт для мониторинга, а не что сайт попал под случайный массовый скан.

Чем занимается Scrunch AI

Scrunch AI — платформа для мониторинга и оптимизации присутствия бренда в больших языковых моделях и AI-поисковых системах: она отслеживает, как ChatGPT, Claude, Gemini, Google SGE и Perplexity цитируют и упоминают конкретный бренд, показывает клиентам, какие страницы их сайта чаще всего попадают в поле зрения AI-краулеров (включая диагностику ошибок доступа вроде 403), и предлагает отдельный продукт — Agent Experience Platform (AXP), параллельный слой сайта, специально оптимизированный и сжатый для потребления AI-агентами, без изменения версии сайта для живых людей.

Именно для диагностики проблем с контентом и конфигурацией клиентского сайта — то есть чтобы проверить, доступен ли сайт для AI-краулеров, нет ли технических барьеров для индексации в контексте GEO/AEO-оптимизации — и работает Scrunchbot. Официальная формулировка максимально конкретна: бот используется, чтобы диагностировать проблемы с контентом и конфигурацией сайтов клиентов Scrunch.

Параметры бота

Почему это меняет решение о допуске

Раз бот в принципе не появляется без предварительного действия клиента, вопрос «легитимен ли этот трафик» здесь фактически сводится к вопросу «сайт сам ли клиент Scrunch AI, или бот появился на связанном с ним ресурсе». Если сайт — клиент платформы, отслеживающий собственную видимость в AI-поиске, бот выполняет ровно ту функцию, ради которой сервис и был подключён. Если сайт никогда не пользовался Scrunch AI, а бот всё равно появился в логах — по официальному описанию модели работы это маловероятный, но не невозможный сценарий (например, ошибочная конфигурация со стороны другого клиента, указавшего не тот домен), и в этом случае стоит свериться с ASN и поведением, прежде чем полагаться только на репутацию бренда.

Как найти бота в логах

grep -i "Scrunchbot" /var/log/nginx/access.log

# Топ URL — должны быть логически связаны с задачей диагностики
grep -i "Scrunchbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Стоит ли блокировать

• если сайт — клиент Scrunch AI, отслеживающий собственную видимость в AI-поиске и цитируемость в LLM-ответах, — бота нужно разрешить, иначе диагностика доступности контента для AI-краулеров перестанет работать;
• если сайт не связан с сервисом — блокировка не несёт практических потерь, поскольку по заявленной модели этот бот и не должен был появляться без подключения;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это отдельный от классического поиска инструмент AI-видимости.

Как настроить доступ

Явное разрешение для клиентов Scrunch AI:

User-agent: Scrunchbot
Allow: /

Стандартный запрет с дублированием на уровне сервера, если сайт не пользуется сервисом:

User-agent: Scrunchbot
Disallow: /

if ($http_user_agent ~* "Scrunchbot") {
    return 403;
}