OnlineOrNot.com_bot в логах: кто и зачем мониторит ваш сайт

Отфильтровав access.log по токену onlineornot.com, многие впервые узнают, что на сайт регулярно, с почти секундомерной точностью, заходит некто OnlineOrNot.com_bot. В отличие от многих загадочных строк в логах, здесь личность агента прозрачна: это реальный, публично задокументированный сервис аптайм-мониторинга. В каталоге TrafficVeil он тем не менее по умолчанию помечен как нежелательный — и ниже разберём, почему это не противоречие, а вопрос согласия, а не анонимности.

Что такое OnlineOrNot.com_bot на самом деле

OnlineOrNot — англоязычный SaaS-сервис для мониторинга аптайма и производительности сайтов: он выполняет проверки доступности, замеряет скорость загрузки страниц и присылает мгновенные оповещения через email, SMS, Slack или PagerDuty при сбоях. По собственной документации сервиса, для всех проверок используется единая строка User-Agent вида OnlineOrNot.com_bot_1.0_(https://onlineornot.com) — то есть оператор здесь не анонимен, в отличие от многих других записей в категории «Прочие краулеры и сервисы».

Зачем OnlineOrNot.com_bot приходит на сайт

Здесь нет никакой скрытой цели вроде сбора данных для обучения моделей или парсинга контента — это чистый heartbeat-трафик: агент раз за разом опрашивает один и тот же набор адресов, чтобы зафиксировать, жив ли сайт и насколько быстро он отвечает. Именно поэтому паттерн такой узнаваемый:

• обходит небольшой, стабильный набор URL — обычно главную, health-check эндпоинт или ключевые целевые страницы;
• заходит строго по расписанию, а не хаотично — интервалы могут доходить до 30 секунд, если так настроил владелец мониторинга;
• не тянет за собой глубокий обход каталога или пагинацию, в отличие от классических краулеров.

Ключевой вопрос не «зачем он приходит», а «кто именно его настроил». Если это подписка, которую оформила ваша же команда для отслеживания аптайма, — трафик желанный и предсказуемый. Если сайт под OnlineOrNot никто из ваших сотрудников не регистрировал, стоит выяснить, не мониторит ли вас таким образом клиент, партнёр или даже конкурент, прежде чем принимать решение allow/deny.

Нагрузка и на что обращать внимание

Сам по себе аптайм-чек — это лёгкий GET-запрос, но при агрессивном интервале в 30 секунд на нескольких страницах фоновая нагрузка накапливается: лишний расход CPU/bandwidth на origin и заметное искажение статистики «живого» трафика в аналитике, если бот туда не отфильтрован. Смотрите не только на абсолютный RPS, но и на:

• стабильность интервала — плановый мониторинг почти всегда бьёт с одинаковым шагом по времени;
• узость набора URL — если бот трогает 2-3 адреса, а не весь каталог, это подтверждает гипотезу про health-check, а не скрейпинг;
• отсутствие cookie и признаков полноценной сессии.

Как найти OnlineOrNot.com_bot в логах

Ищите не общее слово «bot», а конкретный токен onlineornot.com — так меньше шанс зацепить случайных соседей по логам.

# Базовый поиск
grep -i "onlineornot.com" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "onlineornot.com" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "onlineornot.com" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "onlineornot.com" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Для верификации смотрите связку UA + ASN/IP + частота + набор URL, а не одну строку заголовка — подделать User-Agent может любой скрипт. Например, если суточная активность показывает идеально ровные интервалы в 30 секунд на паре URL — это типичный отпечаток именно мониторинга, а не маскирующегося скрейпера.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Правила robots.txt для OnlineOrNot.com_bot

# Жёсткий запрет
User-agent: onlineornot.com
Disallow: /

# Разрешить всё
User-agent: onlineornot.com
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: onlineornot.com
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важная оговорка: по данным сторонних каталогов ботов, сервис официально не гарантирует соблюдение robots.txt для своих проверок аптайма. Если после правки файла хиты в логах продолжаются — это ожидаемо, а не баг, и единственный надёжный контроль здесь на уровне веб-сервера или TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "onlineornot.com") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=onlineornotcom:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "onlineornot.com") {
        limit_req zone=onlineornotcom burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} onlineornot.com [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите onlineornot.com / OnlineOrNot.com_bot в ботах домена или в /system/bots;
• для несанкционированного мониторинга — категория «запретить»; если проверки нужны, но раздражает частота — rate-limit;
• allow оставляйте, только когда точно известно, кто и зачем подключил этот мониторинг именно к вашему сайту;
• после изменения сверьте логи — хиты OnlineOrNot.com_bot должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать OnlineOrNot.com_bot

Стратегия allow/deny для OnlineOrNot.com_bot

Главное отличие этого агента от типичного «нежелательного» бота: здесь не нужно гадать, кто за ним стоит, — оператор открыт и документирован. Остаётся только один практический вопрос — санкционирован ли этот мониторинг именно для вашего домена, и ответ на него определяет всё остальное: allow, rate-limit или запрет через TrafficVeil.