UpDownBot: тот же updown.io — проверьте себя, прежде чем банить

Если фильтровать access.log по updownbot, часто всплывает целый пласт машинных хитов — это и есть UpDownBot, зонд сервиса updown.io. UpDownBot проверяет доступность и скорость ответа сайта — свой или чужой uptime/health-check. Это не проверка виджета или webhook при установке интеграции, как иногда описывают шаблонно, а именно периодический мониторинг доступности. Оператор: updown.io. Классификация: легитимный uptime-монитор с необычно прозрачной документацией по IP и UA.

Что такое UpDownBot

Почти всегда это ваш собственный мониторинг

Независимый каталог ботов формулирует это прямо: в подавляющем большинстве случаев UpDownBot запускает сам владелец сайта или его подрядчик (агентство, DevOps-провайдер) — блокировка в такой ситуации просто скрывает от вас данные вашего же мониторинга. Прежде чем банить, стоит уточнить у команды, не настроен ли под этим именем реальный health-check. Если объём запросов кажется избыточным, но мониторинг всё же нужен — сначала rate-limit, а не сразу полная блокировка.

Зачем UpDownBot приходит на сайт

• Какие зоны чаще трогает: /, /health, /status, главная, критичные посадочные
• Что ищет: код ответа и время отклика, иногда — совпадение конкретной строки на странице вместо стандартной проверки HTTP-статуса
• Чем отличается от браузерного пользователя: нет нормальной сессии, регулярные интервалы (можно настраивать вплоть до раза в 15 секунд), повторяемый path-паттерн

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует updownbot на конкретных страницах — но, в отличие от многих других ботов, здесь стоит сначала проверить, не ваш ли это собственный мониторинг, прежде чем что-либо ограничивать.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у updownbot может не быть, но в категории «Мониторинг доступности» такие агенты дают характерный фон: частые probe-запросы засоряют логи; чужой мониторинг может ходить чаще, чем нужно вашему SLA. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти UpDownBot в логах

# Базовый поиск
grep -i "updownbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "updownbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "updownbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "updownbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

В отличие от многих ботов этой категории, у UpDownBot есть удобный официальный способ проверки — динамическая DNS-запись:

# Актуальный список IP всех узлов мониторинга
dig +short ips.updown.io
dig +short AAAA ips.updown.io

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Для более высокой уверенности сверяйте и IP из этой записи, и подстроку updown.io в UA — по отдельности каждый признак можно подделать, вместе они надёжнее.

robots.txt для UpDownBot

# Жёсткий запрет
User-agent: updownbot
Disallow: /

# Разрешить всё
User-agent: updownbot
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: updownbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: соблюдение robots.txt у этого сервиса подтверждено, поэтому директива реально сработает — Disallow здесь не просто формальность.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "updownbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=updownbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "updownbot") {
        limit_req zone=updownbot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} updownbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите updownbot / UpDownBot в ботах домена или в /system/bots
• Для нежелательного сценария — категория «запретить»; для мягкого — rate-limit
• Allow только при подтверждённой пользе — то есть если это реальный мониторинг вашего или клиентского сайта
• После изменения сверьте логи: хиты UpDownBot должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с UpDownBot

• Если это не ваш checker — смело ограничивайте
• Если ваш — внесите IP из ips.updown.io в allowlist TrafficVeil, либо разрешайте по UA
• Если нагрузка мешает, но мониторинг нужен — сначала rate-limit, затем полный запрет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot

С кем не путать UpDownBot

Стратегия allow/deny для UpDownBot