Боты6 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

StatOnlineRuBot: краулер REG.RU, а не анонимный SEO-скрейпер

В черновых списках ботов StatOnlineRuBot обычно соседствует с классическими backlink-краулерами вроде Ahrefs — но за ним стоит не безымянный сторонний сервис, а публичный статистический портал StatOnline.ru от REG.RU. Разбираемся, чем агрегированная статистика по CMS и хостингу отличается от целевого сбора ссылочного графа и когда бота стоит заблокировать без сожалений.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность

StatOnlineRuBot в логах легко принять за очередной анонимный SEO-скрейпер — но за этим UA стоит не безымянный сторонний сервис, а краулер StatOnline.ru, статистического портала о Рунете от регистратора REG.RU. Это меняет оценку риска: цель обхода — не сбор анкоров и ссылочного графа конкретно вашего сайта для чужого SEO-отчёта, а агрегированная статистика по домену, CMS, SSL и скорости загрузки в масштабах всей зоны .RU/.SU/.РФ.

1. Что такое StatOnlineRuBot на самом деле

StatOnline.ru (также известен как stat.reg.ru) — открытый аналитический портал о Рунете, который развивает и поддерживает REG.RU, один из крупнейших российских регистраторов доменов и хостинг-провайдеров. Портал публикует статистику по доменным зонам .RU/.SU/.РФ: популярность CMS, распределение хостинг-провайдеров, использование SSL-сертификатов, статистику IP-адресов, а с 2020 года — и ежемесячную оценку скорости загрузки сайтов в разрезе хостинг-провайдеров.

Чтобы собрать эти агрегированные метрики, сервису нужно регулярно обходить массив доменов Рунета и фиксировать технические признаки: CMS-отпечаток, наличие и тип SSL-сертификата, время отклика сервера. Это принципиально отличается от классических backlink-краулеров (Ahrefs, SEMrush, DataForSEO), которые целенаправленно строят ссылочный граф и продают доступ к нему как к SEO-инструменту конкурентного анализа.

Параметр Значение
Название StatOnlineRuBot
Оператор REG.RU — крупный российский регистратор доменов и хостинг-провайдер (портал StatOnline.ru, он же stat.reg.ru)
User-Agent / паттерн statonlineru / StatOnlineRuBot
Заявленная цель сервиса Агрегированная статистика Рунета: CMS, хостинг-провайдеры, SSL, IP, скорость загрузки — не персональный SEO-отчёт по вашему сайту
Точный технический след на сайте Официально не задокументирован — по косвенным признакам ближе к фингерпринтингу (CMS/SSL/response time), чем к глубокому сбору ссылок и анкоров; проверяйте по факту глубины и характеру обхода
robots.txt Публичного подтверждения соблюдения нет — правило стоит дублировать блокировкой на сервере
Пометка TrafficVeil Нежелательный / SEO и backlink-краулеры — прямой пользы для владельца сайта нет, хотя оператор легитимный и крупный

2. Зачем StatOnlineRuBot приходит на сайт

  • Сбор технических метрик для ежемесячных агрегированных отчётов StatOnline.ru — какая CMS используется, есть ли SSL и какого типа, как быстро отвечает сервер;
  • Если сайт размещён у одного из крупных российских хостинг-провайдеров — данные могут попадать в раздел рейтинга скорости и аптайма хостеров, который StatOnline.ru ведёт с 2020 года;
  • В отличие от целевого SEO-краулинга, обход, судя по описанию портала, идёт по широкому массиву доменов зоны .RU/.SU/.РФ, а не выборочно по конкурентно значимым сайтам.

Типичный кейс: в аналитике фиксируется рост хитов без единой конверсии, а в access.log под этим временем — StatOnlineRuBot, проходящий по главной странице и паре технических путей. Это не признак атаки или целевого шпионажа за конкретно вашим сайтом, а часть массового ежемесячного обхода Рунета для статистического отчёта.

3. Нагрузка и риски

Прямой практической пользы для конкретного владельца сайта такой обход не даёт — данные уходят в агрегированную статистику стороннего портала, а не возвращаются в виде реферального трафика или полезного отчёта, доступного вам без подписки. В этом смысле категория TrafficVeil «нежелательный» обоснована.

При этом стоит отделять этот риск от риска целевого сбора backlink-данных: поскольку заявленная цель StatOnline.ru — агрегированная статистика по большому числу доменов, а не построение детального ссылочного графа конкретно вашего сайта, утечка структуры анкоров и внутренних ссылок в чужие SEO-базы для этого бота менее вероятна, чем для специализированных backlink-краулеров вроде AhrefsBot или DotBot — но поскольку точный технический след не задокументирован публично, полностью исключать это нельзя.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти StatOnlineRuBot в логах

# Базовый поиск
grep -i "statonlineru" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — крупные агрегаторы часто обходят пакетами, а не равномерно
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Глубина обхода — единичные технические страницы или полноценный краулинг структуры
grep -i "statonlineru" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l

Верификация. Строку UA подделать может любой скрипт. Поскольку официальный список IP-диапазонов REG.RU для этого краулера не публикуется, для верификации подлинности запроса смотрите ASN — легитимные запросы от крупного оператора обычно идут с чистого, легко идентифицируемого хостинг-ASN, а не с подозрительных proxy-пулов:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для StatOnlineRuBot

# Жёсткий запрет
User-agent: StatOnlineRuBot
Disallow: /

# Разрешить всё — если вам интересна собственная строка в статистике StatOnline.ru
User-agent: StatOnlineRuBot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичные страницы
User-agent: StatOnlineRuBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Поскольку публичного подтверждения соблюдения robots.txt для этого краулера нет, при реальной необходимости ограничения переходите к серверной блокировке.

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "statonlineru") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_8f867a69dfad_key {
    default "";
    "~*statonlineru" $binary_remote_addr;
}
limit_req_zone $tv_ng_8f867a69dfad_key zone=tv_ng_8f867a69dfad:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_8f867a69dfad burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} statonlineru [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • найдите statonlineru в разделе ботов домена или в /system/bots;
  • если ваш хостинг-провайдер как раз участвует в рейтингах StatOnline.ru и вам интересна публичная статистика по нему — оставьте allow, прямого риска для контента нет;
  • если цель — просто убрать лишний фон в аналитике без реальной пользы для сайта — Disallow плюс запрет в TrafficVeil;
  • после изменения сверьте логи: хиты StatOnlineRuBot должны уйти в блок/лимит, а Google/Yandex остаться без изменений.

7. Что делать: короткий алгоритм

  • Пользы нет, просто фон в аналитике — Disallow/403, для большинства сайтов это безопасно;
  • Интересна собственная строка в публичной статистике StatOnline.ru (например, для сравнения хостинг-провайдеров) — Allow;
  • Нагрузка от обхода заметна — сначала rate-limit, затем полный запрет;
  • Не путайте StatOnlineRuBot с целевыми backlink-краулерами (AhrefsBot, DotBot, DataForSeoBot) — риск и цель обхода у них разные, хотя категория в TrafficVeil общая;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. С кем не путать StatOnlineRuBot

Бот / сосед Кластер UA Комментарий
AhrefsBot SEO и backlink-краулеры ahrefsbot нежелательный, целевой сбор backlink-данных для платного SEO-инструмента
Barkrowler SEO и backlink-краулеры barkrowler нежелательный
DataForSeoBot SEO и backlink-краулеры dataforseo нежелательный
DotBot SEO и backlink-краулеры dotbot нежелательный
Keys-so Bot SEO и backlink-краулеры keys-so-bot нежелательный, российский аналог — мониторинг позиций и семантики

9. Стратегия allow/deny для StatOnlineRuBot

Ситуация Действие
Интересна публичная статистика StatOnline.ru по вашему хостинг-провайдеру или CMS Allow
Просто лишний фон в аналитике без пользы для сайта Disallow + запрет в TrafficVeil
Нужен доступ, но обход создаёт пики нагрузки Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil, но не критичен Deny по умолчанию — прямой пользы для сайта всё равно нет
Подозрение на подделку UA Не доверять строке UA; смотреть ASN и характер обхода — легитимный трафик REG.RU обычно идёт с чистого хостинг-ASN
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

StatOnlineRuBot собирает ссылочный граф и анкоры моего сайта для чужого SEO-инструмента?
Нет, по открытым данным заявленная цель сервиса StatOnline.ru — агрегированная статистика по CMS, SSL и скорости загрузки, а не целевой сбор ссылочной структуры конкретного сайта.
Кто на самом деле управляет этим ботом?
REG.RU — крупный российский регистратор доменов и хостинг-провайдер, StatOnline.ru — их публичный аналитический портал о Рунете.
Есть ли реальная польза для владельца сайта от этого краулера?
Прямой пользы почти нет, разве что сайт хостится у провайдера, который сравнивают в открытых рейтингах StatOnline.ru.
Опаснее ли StatOnlineRuBot, чем AhrefsBot или DotBot?
Скорее наоборот — эти боты целенаправленно строят детальный ссылочный граф сайта, а StatOnlineRuBot, судя по описанию сервиса, собирает более общие технические метрики.
Соблюдает ли StatOnlineRuBot правила robots.txt?
Публичного подтверждения этому нет, поэтому для гарантированного результата правило стоит дублировать блокировкой на уровне сервера.
Стоит ли просто заблокировать этого бота по умолчанию?
Для большинства сайтов это безопасно и не влияет на позиции в Google или Яндексе, но можно сначала проверить, участвует ли ваш хостинг-провайдер в рейтингах StatOnline.ru.
#StatOnlineRuBot#REG.RU#StatOnline.ru#SEO-краулеры#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота Cincraw: нежелательный прочие краулеры и сервисы
Боты·6 мин

Cincraw: краулер публичной SEO-компании CINC

Cincraw принадлежит не безымянному оператору, а публичной японской SEO-компании CINC, и её официальная политика обхода прямо опровергает стандартный риск «мини-волн автоматизации» из черновика. Разбираемся, что реально собирает этот краулер, почему он намеренно не искажает аналитику посещаемых сайтов, и стоит ли статус в базе действительно оставаться «нежелательным».

Читать
Уникальная иллюстрация бота factset_spyderbot: нежелательный прочие краулеры и сервисы
Боты·6 мин

Factset-spyderbot: краулер FactSet, а не анонимный сборщик данных

Токен в UA прямо называет оператора — это краулер FactSet, крупного публичного поставщика финансовых данных и аналитики для институциональных инвесторов. Разбираемся, зачем компании нужен сбор контента с обычных сайтов, почему независимые каталоги относят его к той же категории, что GPTBot, и когда allow всё же может быть осмысленным решением, а не исключением из общего правила.

Читать
Уникальная иллюстрация бота bnf.fr_bot: нежелательный прочие краулеры и сервисы
Боты·7 мин

Bnf.fr_bot: краулер с законодательным мандатом Франции

В отличие от большинства ботов в этой категории, у bnf.fr_bot есть не просто официальный оператор, а закреплённое французским законом право архивировать национальный веб — и библиотека прямо просит не блокировать его. Разбираемся, для каких сайтов это реально имеет значение, почему robots.txt здесь не работает по замыслу, а не по недосмотру, и когда обычная логика «нежелательный, если пользы нет» всё же применима.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil