StatOnlineRuBot: краулер REG.RU, а не анонимный SEO-скрейпер

StatOnlineRuBot в логах легко принять за очередной анонимный SEO-скрейпер — но за этим UA стоит не безымянный сторонний сервис, а краулер StatOnline.ru, статистического портала о Рунете от регистратора REG.RU. Это меняет оценку риска: цель обхода — не сбор анкоров и ссылочного графа конкретно вашего сайта для чужого SEO-отчёта, а агрегированная статистика по домену, CMS, SSL и скорости загрузки в масштабах всей зоны .RU/.SU/.РФ.

1. Что такое StatOnlineRuBot на самом деле

StatOnline.ru (также известен как stat.reg.ru) — открытый аналитический портал о Рунете, который развивает и поддерживает REG.RU, один из крупнейших российских регистраторов доменов и хостинг-провайдеров. Портал публикует статистику по доменным зонам .RU/.SU/.РФ: популярность CMS, распределение хостинг-провайдеров, использование SSL-сертификатов, статистику IP-адресов, а с 2020 года — и ежемесячную оценку скорости загрузки сайтов в разрезе хостинг-провайдеров.

Чтобы собрать эти агрегированные метрики, сервису нужно регулярно обходить массив доменов Рунета и фиксировать технические признаки: CMS-отпечаток, наличие и тип SSL-сертификата, время отклика сервера. Это принципиально отличается от классических backlink-краулеров (Ahrefs, SEMrush, DataForSEO), которые целенаправленно строят ссылочный граф и продают доступ к нему как к SEO-инструменту конкурентного анализа.

2. Зачем StatOnlineRuBot приходит на сайт

• Сбор технических метрик для ежемесячных агрегированных отчётов StatOnline.ru — какая CMS используется, есть ли SSL и какого типа, как быстро отвечает сервер;
• Если сайт размещён у одного из крупных российских хостинг-провайдеров — данные могут попадать в раздел рейтинга скорости и аптайма хостеров, который StatOnline.ru ведёт с 2020 года;
• В отличие от целевого SEO-краулинга, обход, судя по описанию портала, идёт по широкому массиву доменов зоны .RU/.SU/.РФ, а не выборочно по конкурентно значимым сайтам.

Типичный кейс: в аналитике фиксируется рост хитов без единой конверсии, а в access.log под этим временем — StatOnlineRuBot, проходящий по главной странице и паре технических путей. Это не признак атаки или целевого шпионажа за конкретно вашим сайтом, а часть массового ежемесячного обхода Рунета для статистического отчёта.

3. Нагрузка и риски

Прямой практической пользы для конкретного владельца сайта такой обход не даёт — данные уходят в агрегированную статистику стороннего портала, а не возвращаются в виде реферального трафика или полезного отчёта, доступного вам без подписки. В этом смысле категория TrafficVeil «нежелательный» обоснована.

При этом стоит отделять этот риск от риска целевого сбора backlink-данных: поскольку заявленная цель StatOnline.ru — агрегированная статистика по большому числу доменов, а не построение детального ссылочного графа конкретно вашего сайта, утечка структуры анкоров и внутренних ссылок в чужие SEO-базы для этого бота менее вероятна, чем для специализированных backlink-краулеров вроде AhrefsBot или DotBot — но поскольку точный технический след не задокументирован публично, полностью исключать это нельзя.

4. Как найти StatOnlineRuBot в логах

# Базовый поиск
grep -i "statonlineru" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — крупные агрегаторы часто обходят пакетами, а не равномерно
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Глубина обхода — единичные технические страницы или полноценный краулинг структуры
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l

Верификация. Строку UA подделать может любой скрипт. Поскольку официальный список IP-диапазонов REG.RU для этого краулера не публикуется, для верификации подлинности запроса смотрите ASN — легитимные запросы от крупного оператора обычно идут с чистого, легко идентифицируемого хостинг-ASN, а не с подозрительных proxy-пулов:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для StatOnlineRuBot

# Жёсткий запрет
User-agent: StatOnlineRuBot
Disallow: /

# Разрешить всё — если вам интересна собственная строка в статистике StatOnline.ru
User-agent: StatOnlineRuBot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичные страницы
User-agent: StatOnlineRuBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Поскольку публичного подтверждения соблюдения robots.txt для этого краулера нет, при реальной необходимости ограничения переходите к серверной блокировке.

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "statonlineru") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=statonlineru:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "statonlineru") {
        limit_req zone=statonlineru burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} statonlineru [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите statonlineru в разделе ботов домена или в /system/bots;
• если ваш хостинг-провайдер как раз участвует в рейтингах StatOnline.ru и вам интересна публичная статистика по нему — оставьте allow, прямого риска для контента нет;
• если цель — просто убрать лишний фон в аналитике без реальной пользы для сайта — Disallow плюс запрет в TrafficVeil;
• после изменения сверьте логи: хиты StatOnlineRuBot должны уйти в блок/лимит, а Google/Yandex остаться без изменений.

7. Что делать: короткий алгоритм

• Пользы нет, просто фон в аналитике — Disallow/403, для большинства сайтов это безопасно;
• Интересна собственная строка в публичной статистике StatOnline.ru (например, для сравнения хостинг-провайдеров) — Allow;
• Нагрузка от обхода заметна — сначала rate-limit, затем полный запрет;
• Не путайте StatOnlineRuBot с целевыми backlink-краулерами (AhrefsBot, DotBot, DataForSeoBot) — риск и цель обхода у них разные, хотя категория в TrafficVeil общая;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. С кем не путать StatOnlineRuBot

9. Стратегия allow/deny для StatOnlineRuBot