Montastic-monitor в логах: чей это SLA-контроль

Если отфильтровать access.log по токену montastic-monitor, часто всплывает целый пласт машинных хитов с ровными интервалами — это Montastic, сервис мониторинга доступности сайтов, который работает с 2005 года. Запросы не являются визитами пользователей, а отражают SLA-контроль: кто-то — вы сами или третья сторона — настроил проверку вашего сайта на доступность.

1. Что такое montastic-monitor

Montastic — сервис компании Metadot (Остин, Техас, США), который проверяет сайты по HTTP, HTTPS, ping и порт-чекам с нескольких географически разнесённых точек, с интервалом вплоть до одной минуты на платных тарифах. Помимо базовой доступности сервис умеет следить за сроком действия SSL-сертификата и за изменениями DNS-записей — то есть часть хитов от этого UA может быть не про саму страницу, а про сопутствующую проверку сертификата или домена. Ключевая особенность бизнес-модели: настроить мониторинг чужого сайта в Montastic может кто угодно, не только владелец — регистрация занимает пару минут и не требует подтверждения прав на домен.

2. Зачем montastic-monitor приходит на сайт

Проверка запускается по расписанию, которое настроил пользователь Montastic — это может быть владелец сайта (контролирует собственный SLA) или сторонняя компания, которая мониторит ваш сайт для своих целей: партнёр, агрегатор, конкурент, отслеживающий ваш аптайм. Сам факт присутствия montastic-monitor в логах не говорит о том, кто именно настроил проверку — это видно только по частоте, URL-паттерну и косвенным признакам.

• Какие зоны чаще трогает: /, /health, /status, главная и явно указанные пользователем критичные посадочные страницы;
• Что ищет: код ответа, время отклика, доступность порта, а в расширенных проверках — валидность SSL-сертификата и DNS-записи;
• Чем отличается от браузерного пользователя: нет сессии и cookie, интервалы регулярные (от минуты до часа в зависимости от тарифа), обращение почти всегда к одному и тому же URL раз за разом.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log с ровными интервалами доминирует montastic-monitor на одной и той же посадочной. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно.

3. Нагрузка и риски именно для montastic-monitor

Отдельной строки в публичной сводке top-bot TrafficVeil у montastic-monitor может не быть, но в категории «Мониторинг доступности» такие агенты дают характерный фон: частые probe-запросы засоряют логи, а чужой (не ваш) мониторинг может ходить намного чаще, чем реально нужно вашему собственному SLA-контролю.

Смотрите не только абсолютный RPS, но и качество хитов: глубину обхода, повторы одного и того же URL, отсутствие cookie-сессий и концентрацию на служебных или лендинговых страницах. Если проверка бьёт в несколько разных URL с интервалом в секунды — это, вероятно, не штатный uptime-чек, а что-то другое, притворяющееся Montastic по UA.

4. Как найти montastic-monitor в логах

Не ищите «просто ботов» — ищите конкретный токен montastic-monitor и рядом смотрите соседей по семейству uptime-мониторов.

# Базовый поиск
grep -i "montastic-monitor" /var/log/nginx/access.log

# Топ URL, которые проверяет монитор
grep -i "montastic-monitor" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA (у мониторинга обычно несколько точек присутствия)
grep -i "montastic-monitor" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Интервал между хитами — штатный uptime-чек обычно бьёт ровно
grep -i "montastic-monitor" /var/log/nginx/access.log | awk '{print $4}'

# Суточная активность
grep -i "montastic-monitor" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк семейства uptime-мониторов
grep -iE "montastic|uptimerobot|pingdom|statuscake" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL. Поскольку Montastic не публикует официальный список IP, а проверяет с нескольких точек, полагайтесь на регулярность интервалов и поведение, а не на статичный IP.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для montastic-monitor

# Жёсткий запрет
User-agent: montastic-monitor
Disallow: /

# Разрешить всё
User-agent: montastic-monitor
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: montastic-monitor
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для montastic-monitor, если это не ваш собственный мониторинг. Поскольку сервис не гарантированно проверяет robots.txt перед пингом конкретного URL, для надёжного результата переходите к правилам на уровне nginx/Apache или к запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "montastic-monitor") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=montasticmonitor:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "montastic-monitor") {
        limit_req zone=montasticmonitor burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} montastic-monitor [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите montastic-monitor в ботах домена или в разделе /system/bots;
• Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
• Allow оставляйте, только если это ваш собственный настроенный SLA-мониторинг;
• После изменения сверьте логи: хиты montastic-monitor должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с montastic-monitor

• Если это не ваш checker — смело ограничивайте через Disallow/403;
• Если это ваш собственный мониторинг — внесите его IP в allowlist TrafficVeil и не режьте;
• Если нагрузка мешает, но выяснить владельца проверки не удаётся — начните с rate-limit, а не с жёсткого запрета;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
• Что вы теряете при блокировке чужого монитора: как правило, ничего — это не источник трафика или SEO-сигналов, только чужой SLA-контроль.

8. С кем не путать montastic-monitor

9. Стратегия allow/deny для montastic-monitor