WormlyBot: мониторинг, который может прийти без UA

WormlyBot — реальный, давно работающий (более 15 лет на рынке) сервис аптайм-мониторинга Wormly, а не абстрактный «сервис для интеграции». Подтверждено в Cloudflare Radar как HTTP-мониторинговый зонд именно этой компании. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».

Что такое WormlyBot на самом деле

Wormly предлагает мониторинг доступности сайтов и серверов: HTTP/HTTPS-проверки с поддержкой GET и POST-запросов, валидацию SSL-сертификатов, работу с cookie, поиск нужных и ненужных строк по регулярным выражениям в ответе сервера, а также проверку любых кодов ответа HTTP. Отдельно есть server health-мониторинг через устанавливаемый на сервер лёгкий PHP-агент, который передаёт метрики производительности (CPU, память) — но это отдельный механизм, работающий по инициативе самого сервера, а не по HTTP-запросу извне, и в access.log сайта он не отражается как бот.

Важная техническая деталь именно для этого сервиса: в настройках HTTP-сенсора Wormly пользователь может задать произвольную кастомную строку User-Agent для своих проверок — по умолчанию отправляется пустая строка. Это значит, что реальный отпечаток в логах может отличаться от ожидаемого «wormlybot», если клиент явно настроил другой UA.

Зачем WormlyBot приходит на сайт

Логика та же, что и у любого мониторинга: кто-то — вы сами, ваша команда или сторонний наблюдатель — добавил ваш URL в аккаунт Wormly для регулярной проверки. Пользователь сервиса может настроить как простую проверку доступности, так и более сложную — с проверкой конкретного содержимого страницы через регулярные выражения (например, чтобы убедиться, что определённый текст присутствует или отсутствует в ответе).

Нагрузка и риски именно для WormlyBot

Отдельной строки в публичной сводке топ-ботов TrafficVeil у wormlybot может не быть, но для категории мониторинга в целом характерен предсказуемый фон: частые probe-запросы, которые редко критичны по нагрузке сами по себе. Смотрите не только на абсолютный RPS, но и на:

• узость набора URL — типичный аптайм-чекер трогает 1-2 конкретных адреса;
• регулярность интервалов, соответствующую настройкам конкретного клиента Wormly;
• отсутствие cookie и признаков полноценной сессии;
• тот факт, что реальный UA может отличаться от «wormlybot», если клиент задал кастомную строку в настройках сенсора.

Как найти WormlyBot в логах

Ищите конкретный токен wormlybot, а не общее слово «bot».

# Базовый поиск
grep -i "wormlybot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "wormlybot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "wormlybot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "wormlybot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация: для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — учитывая, что часть реального трафика Wormly может идти вообще без узнаваемого UA (по умолчанию сервис отправляет пустую строку, если клиент явно не настроил иначе):

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для WormlyBot

# Жёсткий запрет
User-agent: wormlybot
Disallow: /

# Разрешить всё
User-agent: wormlybot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: wormlybot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Учитывайте: не все агенты строго соблюдают robots.txt, а поскольку часть трафика Wormly может идти без узнаваемого UA вовсе, полагаться только на файл здесь особенно рискованно. Для гарантированного контроля используйте серверные правила или TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "wormlybot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=wormlybot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "wormlybot") {
        limit_req zone=wormlybot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} wormlybot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите wormlybot в ботах домена или в /system/bots;
• если это чужой чекер — категория «запретить»; если нагрузка от своего же мониторинга просто слишком частая — rate-limit;
• allow оставляйте, если проверку настраивали именно вы или ваша команда;
• после изменения сверьте логи: хиты wormlybot должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать WormlyBot

Стратегия allow/deny для WormlyBot

Если это не ваш checker — можно смело ограничивать: SEO и видимость сайта в поиске это не затронет. Если проверку настраивали именно вы — правильный шаг не запрет, а внесение подтверждённого IP в allowlist TrafficVeil, чтобы мониторинг продолжал работать без искажений в общей статистике.