Updown.io: редкий случай, когда список IP обновляется сам

Если фильтровать access.log по updown.io, часто всплывает целый пласт машинных хитов — это и есть UpDownBot, зонд сервиса updown.io для мониторинга доступности сайтов. updown.io — сервис мониторинга доступности и скорости ответа сайтов, отличающийся необычной прозрачностью: продукт написан и поддерживается одним разработчиком лично (по их же формулировке — «no bot, no outsourcing, no bullshit»), а документация по верификации трафика заметно подробнее, чем у большинства аналогов. Оператор: updown.io. Классификация: легитимный uptime-монитор с прозрачной, редко встречающейся у таких сервисов документацией по IP и UA.

Что такое updown.io

Почти всегда это ваш собственный мониторинг

Независимый каталог ботов формулирует это прямо: в подавляющем большинстве случаев UpDownBot запускает сам владелец сайта или его подрядчик (агентство, DevOps-провайдер) — блокировка в такой ситуации просто скрывает от вас данные вашего же мониторинга доступности. Прежде чем банить, стоит уточнить у команды, не настроен ли под этим именем реальный health-check. Если объём запросов кажется избыточным, но мониторинг всё же нужен, рекомендация та же, что и для большинства сервисов этой категории: сначала rate-limit, а не сразу полная блокировка.

Зачем updown.io приходит на сайт

updown.io проверяет доступность и скорость ответа — свой или чужой uptime/health-check.

• Какие зоны чаще трогает: /, /health, /status, главная, критичные посадочные
• Что ищет: код ответа, время отклика, иногда — совпадение конкретной строки на странице вместо стандартной проверки HTTP-статуса (отдельная функция сервиса)
• Чем отличается от браузерного пользователя: нет нормальной сессии, регулярные интервалы (можно настраивать вплоть до раза в 15 секунд), повторяемый path-паттерн

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует updown.io на конкретных страницах — но, в отличие от многих других ботов, здесь стоит сначала проверить, не ваш ли это собственный мониторинг, прежде чем что-либо ограничивать.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у updown.io может не быть, но в категории «Мониторинг доступности» такие агенты дают характерный фон: частые probe-запросы засоряют логи; чужой мониторинг может ходить чаще, чем нужно вашему SLA. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти updown.io в логах

# Базовый поиск
grep -i "updown.io" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "updown.io" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "updown.io" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "updown.io" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

В отличие от многих ботов в этой категории, у updown.io есть удобный официальный способ проверки — динамическая DNS-запись:

# Актуальный список IP всех узлов мониторинга и веб-серверов
dig +short ips.updown.io
dig +short AAAA ips.updown.io

Для более высокой уверенности сверяйте и IP из этой записи, и подстроку updown.io в UA — по отдельности каждый признак можно подделать, вместе они надёжнее.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для updown.io

# Жёсткий запрет
User-agent: updown.io
Disallow: /

# Разрешить всё
User-agent: updown.io
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: updown.io
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: Disallow/403 для updown.io, если пользы нет. Соблюдение robots.txt у этого сервиса подтверждено, поэтому директива реально сработает.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "updown.io") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=updownio:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "updown.io") {
        limit_req zone=updownio burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} updown.io [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите updown.io в ботах домена или в /system/bots
• Для нежелательного сценария — категория «запретить»; для мягкого — rate-limit
• Allow только при явной пользе от updown.io — то есть если это подтверждённый мониторинг вашего или клиентского сайта
• После изменения сверьте логи: хиты updown.io должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с updown.io

• Если это не ваш checker — смело ограничивайте
• Если ваш — внесите IP из ips.updown.io в allowlist TrafficVeil, либо разрешайте по UA
• Если нагрузка мешает, но мониторинг нужен — сначала rate-limit, затем полный запрет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot

С кем не путать updown.io

Стратегия allow/deny для updown.io