Бот Rigor в логах: мониторинг сайта, а не случайный краулер

Строка rigor в access.log обычно попадает в общую графу «прочие сервисы» без особых уточнений. На деле за этим именем стоит конкретный класс инструмента — синтетический мониторинг и проверка производительности сайта, сейчас известный как часть Splunk Synthetic Monitoring. Если он заходит на ваш сайт, почти всегда это значит, что кто-то — вы сами, ваша команда или клиент — настроил регулярную проверку конкретных страниц, а не что появился незнакомый краулер.

Что такое Rigor на самом деле

Rigor — платформа Digital Experience Monitoring: синтетические проверки uptime и скорости загрузки страниц, «Real Browser Checks» и «Uptime Checks», результаты которых можно выгружать в Splunk или Datadog. После поглощения Rigor Splunk сервис работает под брендом Splunk Synthetic Monitoring. Ключевая особенность — проверки настраивает сам владелец сайта или его подрядчик по мониторингу, указывая конкретные URL, которые нужно регулярно тестировать.

Зачем Rigor приходит на сайт

Визит происходит по расписанию проверки, которую кто-то создал в личном кабинете Rigor/Splunk — от раза в минуту до раза в час, в зависимости от тарифа и настроек. Обходится не сайт целиком, а конкретный набор страниц, которые важно держать под контролем: главная, ключевые лендинги, шаги оформления заказа. Проверки часто запускаются одновременно из нескольких географических точек, поэтому одинаковый паттерн запросов к одному и тому же узкому набору URL с разных IP — типичный почерк именно синтетического мониторинга, а не разведки контента.

Почему блокировка требует особой осторожности

Если Rigor настроен вами или вашим клиентом для отслеживания аптайма, случайная блокировка UA приведёт не к экономии ресурсов, а к ложным алертам «сайт недоступен» — мониторинг перестанет получать корректные ответы и начнёт бить тревогу на ровном месте. Прежде чем ограничивать этот трафик, стоит выяснить, не завязана ли на него реальная система оповещений о падении сайта.

Как найти Rigor в логах

# Базовый поиск
grep -i "rigor" /var/log/nginx/access.log

# Топ URL, которые проверяет бот (обычно узкий фиксированный список)
grep -i "rigor" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP — проверки часто идут из нескольких регионов одновременно
grep -i "rigor" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Регулярность по времени — синтетический мониторинг обычно ходит строго по расписанию
grep -i "rigor" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Если очевидного мониторинга никто не настраивал, а строка всё равно встречается — сверьте IP через ASN, прежде чем считать источник легитимным:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и блокировка через TrafficVeil

# Разрешить (стандартный вариант для собственного мониторинга)
User-agent: rigor
Allow: /

# Точечно закрыть чувствительные разделы
User-agent: rigor
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: прежде чем переключать rigor в «запретить», уточните у команды и подрядчиков, не используется ли этот UA для мониторинга аптайма именно вашего сайта. Если мониторинг подтверждён — оставьте allow без rate-limit, чтобы не искажать метрики скорости и не провоцировать ложные алерты; если источник неизвестен и не подтверждается по ASN — рассматривайте как обычный неопознанный трафик.

С кем можно перепутать Rigor

Rigor — один из целого класса синтетических мониторинг-сервисов, который также включает Pingdom, UptimeRobot и StatusCake: все они периодически «стучатся» на заданные владельцем сайта URL ради проверки доступности и скорости, и у всех трафик легитимен ровно настолько, насколько подтверждена связь с реальной настройкой мониторинга. Отличать их стоит не по названию бота, а по факту: кто-то в компании должен знать, что такая проверка существует.

Что в итоге делать с Rigor