StatOnlineRuBot в логах легко принять за очередной анонимный SEO-скрейпер — но за этим UA стоит не безымянный сторонний сервис, а краулер StatOnline.ru, статистического портала о Рунете от регистратора REG.RU. Это меняет оценку риска: цель обхода — не сбор анкоров и ссылочного графа конкретно вашего сайта для чужого SEO-отчёта, а агрегированная статистика по домену, CMS, SSL и скорости загрузки в масштабах всей зоны .RU/.SU/.РФ.
1. Что такое StatOnlineRuBot на самом деле
StatOnline.ru (также известен как stat.reg.ru) — открытый аналитический портал о Рунете, который развивает и поддерживает REG.RU, один из крупнейших российских регистраторов доменов и хостинг-провайдеров. Портал публикует статистику по доменным зонам .RU/.SU/.РФ: популярность CMS, распределение хостинг-провайдеров, использование SSL-сертификатов, статистику IP-адресов, а с 2020 года — и ежемесячную оценку скорости загрузки сайтов в разрезе хостинг-провайдеров.
Чтобы собрать эти агрегированные метрики, сервису нужно регулярно обходить массив доменов Рунета и фиксировать технические признаки: CMS-отпечаток, наличие и тип SSL-сертификата, время отклика сервера. Это принципиально отличается от классических backlink-краулеров (Ahrefs, SEMrush, DataForSEO), которые целенаправленно строят ссылочный граф и продают доступ к нему как к SEO-инструменту конкурентного анализа.
| Параметр | Значение |
| Название | StatOnlineRuBot |
| Оператор | REG.RU — крупный российский регистратор доменов и хостинг-провайдер (портал StatOnline.ru, он же stat.reg.ru) |
| User-Agent / паттерн | statonlineru / StatOnlineRuBot |
| Заявленная цель сервиса | Агрегированная статистика Рунета: CMS, хостинг-провайдеры, SSL, IP, скорость загрузки — не персональный SEO-отчёт по вашему сайту |
| Точный технический след на сайте | Официально не задокументирован — по косвенным признакам ближе к фингерпринтингу (CMS/SSL/response time), чем к глубокому сбору ссылок и анкоров; проверяйте по факту глубины и характеру обхода |
| robots.txt | Публичного подтверждения соблюдения нет — правило стоит дублировать блокировкой на сервере |
| Пометка TrafficVeil | Нежелательный / SEO и backlink-краулеры — прямой пользы для владельца сайта нет, хотя оператор легитимный и крупный |
2. Зачем StatOnlineRuBot приходит на сайт
- Сбор технических метрик для ежемесячных агрегированных отчётов StatOnline.ru — какая CMS используется, есть ли SSL и какого типа, как быстро отвечает сервер;
- Если сайт размещён у одного из крупных российских хостинг-провайдеров — данные могут попадать в раздел рейтинга скорости и аптайма хостеров, который StatOnline.ru ведёт с 2020 года;
- В отличие от целевого SEO-краулинга, обход, судя по описанию портала, идёт по широкому массиву доменов зоны .RU/.SU/.РФ, а не выборочно по конкурентно значимым сайтам.
Типичный кейс: в аналитике фиксируется рост хитов без единой конверсии, а в access.log под этим временем — StatOnlineRuBot, проходящий по главной странице и паре технических путей. Это не признак атаки или целевого шпионажа за конкретно вашим сайтом, а часть массового ежемесячного обхода Рунета для статистического отчёта.
3. Нагрузка и риски
Прямой практической пользы для конкретного владельца сайта такой обход не даёт — данные уходят в агрегированную статистику стороннего портала, а не возвращаются в виде реферального трафика или полезного отчёта, доступного вам без подписки. В этом смысле категория TrafficVeil «нежелательный» обоснована.
При этом стоит отделять этот риск от риска целевого сбора backlink-данных: поскольку заявленная цель StatOnline.ru — агрегированная статистика по большому числу доменов, а не построение детального ссылочного графа конкретно вашего сайта, утечка структуры анкоров и внутренних ссылок в чужие SEO-базы для этого бота менее вероятна, чем для специализированных backlink-краулеров вроде AhrefsBot или DotBot — но поскольку точный технический след не задокументирован публично, полностью исключать это нельзя.
4. Как найти StatOnlineRuBot в логах
# Базовый поиск
grep -i "statonlineru" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — крупные агрегаторы часто обходят пакетами, а не равномерно
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Глубина обхода — единичные технические страницы или полноценный краулинг структуры
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -lВерификация. Строку UA подделать может любой скрипт. Поскольку официальный список IP-диапазонов REG.RU для этого краулера не публикуется, для верификации подлинности запроса смотрите ASN — легитимные запросы от крупного оператора обычно идут с чистого, легко идентифицируемого хостинг-ASN, а не с подозрительных proxy-пулов:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для StatOnlineRuBot
# Жёсткий запрет
User-agent: StatOnlineRuBot
Disallow: /
# Разрешить всё — если вам интересна собственная строка в статистике StatOnline.ru
User-agent: StatOnlineRuBot
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичные страницы
User-agent: StatOnlineRuBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Поскольку публичного подтверждения соблюдения robots.txt для этого краулера нет, при реальной необходимости ограничения переходите к серверной блокировке.
6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "statonlineru") {
return 403;
}
limit_req_zone $binary_remote_addr zone=statonlineru:10m rate=10r/m;
location / {
if ($http_user_agent ~* "statonlineru") {
limit_req zone=statonlineru burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} statonlineru [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- найдите statonlineru в разделе ботов домена или в /system/bots;
- если ваш хостинг-провайдер как раз участвует в рейтингах StatOnline.ru и вам интересна публичная статистика по нему — оставьте allow, прямого риска для контента нет;
- если цель — просто убрать лишний фон в аналитике без реальной пользы для сайта — Disallow плюс запрет в TrafficVeil;
- после изменения сверьте логи: хиты StatOnlineRuBot должны уйти в блок/лимит, а Google/Yandex остаться без изменений.
7. Что делать: короткий алгоритм
- Пользы нет, просто фон в аналитике — Disallow/403, для большинства сайтов это безопасно;
- Интересна собственная строка в публичной статистике StatOnline.ru (например, для сравнения хостинг-провайдеров) — Allow;
- Нагрузка от обхода заметна — сначала rate-limit, затем полный запрет;
- Не путайте StatOnlineRuBot с целевыми backlink-краулерами (AhrefsBot, DotBot, DataForSeoBot) — риск и цель обхода у них разные, хотя категория в TrafficVeil общая;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. С кем не путать StatOnlineRuBot
| Бот / сосед | Кластер | UA | Комментарий |
| AhrefsBot | SEO и backlink-краулеры | ahrefsbot | нежелательный, целевой сбор backlink-данных для платного SEO-инструмента |
| Barkrowler | SEO и backlink-краулеры | barkrowler | нежелательный |
| DataForSeoBot | SEO и backlink-краулеры | dataforseo | нежелательный |
| DotBot | SEO и backlink-краулеры | dotbot | нежелательный |
| Keys-so Bot | SEO и backlink-краулеры | keys-so-bot | нежелательный, российский аналог — мониторинг позиций и семантики |
9. Стратегия allow/deny для StatOnlineRuBot
| Ситуация | Действие |
| Интересна публичная статистика StatOnline.ru по вашему хостинг-провайдеру или CMS | Allow |
| Просто лишний фон в аналитике без пользы для сайта | Disallow + запрет в TrafficVeil |
| Нужен доступ, но обход создаёт пики нагрузки | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil, но не критичен | Deny по умолчанию — прямой пользы для сайта всё равно нет |
| Подозрение на подделку UA | Не доверять строке UA; смотреть ASN и характер обхода — легитимный трафик REG.RU обычно идёт с чистого хостинг-ASN |