Отфильтровав access.log по токену onlineornot.com, многие впервые узнают, что на сайт регулярно, с почти секундомерной точностью, заходит некто OnlineOrNot.com_bot. В отличие от многих загадочных строк в логах, здесь личность агента прозрачна: это реальный, публично задокументированный сервис аптайм-мониторинга. В каталоге TrafficVeil он тем не менее по умолчанию помечен как нежелательный — и ниже разберём, почему это не противоречие, а вопрос согласия, а не анонимности.
Что такое OnlineOrNot.com_bot на самом деле
OnlineOrNot — англоязычный SaaS-сервис для мониторинга аптайма и производительности сайтов: он выполняет проверки доступности, замеряет скорость загрузки страниц и присылает мгновенные оповещения через email, SMS, Slack или PagerDuty при сбоях. По собственной документации сервиса, для всех проверок используется единая строка User-Agent вида OnlineOrNot.com_bot_1.0_(https://onlineornot.com) — то есть оператор здесь не анонимен, в отличие от многих других записей в категории «Прочие краулеры и сервисы».
| Параметр | Значение |
| Название | OnlineOrNot.com_bot |
| User-Agent / паттерн | onlineornot.com (полная строка: OnlineOrNot.com_bot_1.0_(https://onlineornot.com)) |
| Оператор | OnlineOrNot — сервис аптайм- и перфоманс-мониторинга сайтов |
| Роль | Плановые проверки доступности и скорости загрузки, интервал настраивается пользователем сервиса вплоть до 30 секунд |
| Документация / ориентир | Официальная страница User-Agent на onlineornot.com |
| Список IP | ❌ Публичного полного списка IP нет; проверяйте ASN и не доверяйтесь только строке UA |
| robots.txt | По данным сторонних каталогов ботов — официально не соблюдается; контроль доступа только на уровне сервера |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
Зачем OnlineOrNot.com_bot приходит на сайт
Здесь нет никакой скрытой цели вроде сбора данных для обучения моделей или парсинга контента — это чистый heartbeat-трафик: агент раз за разом опрашивает один и тот же набор адресов, чтобы зафиксировать, жив ли сайт и насколько быстро он отвечает. Именно поэтому паттерн такой узнаваемый:
- обходит небольшой, стабильный набор URL — обычно главную, health-check эндпоинт или ключевые целевые страницы;
- заходит строго по расписанию, а не хаотично — интервалы могут доходить до 30 секунд, если так настроил владелец мониторинга;
- не тянет за собой глубокий обход каталога или пагинацию, в отличие от классических краулеров.
Ключевой вопрос не «зачем он приходит», а «кто именно его настроил». Если это подписка, которую оформила ваша же команда для отслеживания аптайма, — трафик желанный и предсказуемый. Если сайт под OnlineOrNot никто из ваших сотрудников не регистрировал, стоит выяснить, не мониторит ли вас таким образом клиент, партнёр или даже конкурент, прежде чем принимать решение allow/deny.
Нагрузка и на что обращать внимание
Сам по себе аптайм-чек — это лёгкий GET-запрос, но при агрессивном интервале в 30 секунд на нескольких страницах фоновая нагрузка накапливается: лишний расход CPU/bandwidth на origin и заметное искажение статистики «живого» трафика в аналитике, если бот туда не отфильтрован. Смотрите не только на абсолютный RPS, но и на:
- стабильность интервала — плановый мониторинг почти всегда бьёт с одинаковым шагом по времени;
- узость набора URL — если бот трогает 2-3 адреса, а не весь каталог, это подтверждает гипотезу про health-check, а не скрейпинг;
- отсутствие cookie и признаков полноценной сессии.
Как найти OnlineOrNot.com_bot в логах
Ищите не общее слово «bot», а конкретный токен onlineornot.com — так меньше шанс зацепить случайных соседей по логам.
# Базовый поиск
grep -i "onlineornot.com" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "onlineornot.com" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "onlineornot.com" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "onlineornot.com" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Для верификации смотрите связку UA + ASN/IP + частота + набор URL, а не одну строку заголовка — подделать User-Agent может любой скрипт. Например, если суточная активность показывает идеально ровные интервалы в 30 секунд на паре URL — это типичный отпечаток именно мониторинга, а не маскирующегося скрейпера.
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
Правила robots.txt для OnlineOrNot.com_bot
# Жёсткий запрет User-agent: onlineornot.com Disallow: / # Разрешить всё User-agent: onlineornot.com Allow: / # Компромисс: закрыть деньги/кабинет, оставить публичную часть User-agent: onlineornot.com Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /account/ Disallow: /api/ Allow: /
Важная оговорка: по данным сторонних каталогов ботов, сервис официально не гарантирует соблюдение robots.txt для своих проверок аптайма. Если после правки файла хиты в логах продолжаются — это ожидаемо, а не баг, и единственный надёжный контроль здесь на уровне веб-сервера или TrafficVeil.
Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "onlineornot.com") {
return 403;
}
limit_req_zone $binary_remote_addr zone=onlineornotcom:10m rate=10r/m;
location / {
if ($http_user_agent ~* "onlineornot.com") {
limit_req zone=onlineornotcom burst=20 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} onlineornot.com [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- найдите onlineornot.com / OnlineOrNot.com_bot в ботах домена или в
/system/bots; - для несанкционированного мониторинга — категория «запретить»; если проверки нужны, но раздражает частота — rate-limit;
- allow оставляйте, только когда точно известно, кто и зачем подключил этот мониторинг именно к вашему сайту;
- после изменения сверьте логи — хиты OnlineOrNot.com_bot должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.
С кем не путать OnlineOrNot.com_bot
| Бот / сосед | Кластер | UA | Комментарий |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный |
Стратегия allow/deny для OnlineOrNot.com_bot
| Ситуация | Действие |
| Мониторинг подключён вашей же командой | Allow + закрыть /admin /cart /api |
| Никто из команды сервис не регистрировал | Disallow + запрет в TrafficVeil, отдельно выяснить источник подключения |
| Мониторинг нужен, но интервал проверок слишком агрессивный | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil и не подтверждена польза | Deny по умолчанию, исключения — точечно |
| Подозрение на спуфинг UA под видом OnlineOrNot | Не доверять строке UA; смотреть IP/ASN и стабильность интервала |
Главное отличие этого агента от типичного «нежелательного» бота: здесь не нужно гадать, кто за ним стоит, — оператор открыт и документирован. Остаётся только один практический вопрос — санкционирован ли этот мониторинг именно для вашего домена, и ответ на него определяет всё остальное: allow, rate-limit или запрет через TrafficVeil.