TrafficVeil Site Monitor: что это за бот и почему его не нужно блокировать

TrafficVeil Site Monitor — внутренний сервис мониторинга TrafficVeil, который периодически проверяет доступность защищённых доменов клиентов через прокси-инфраструктуру TrafficVeil. Его задача — убедиться, что сайт корректно отвечает через защитный контур, origin доступен, SSL работает, а конфигурация домена не привела к ошибке.

Это легитимный служебный трафик TrafficVeil. Он не является поисковым роботом, не индексирует контент и не должен учитываться как обычный посетитель или подозрительный бот.

Зачем TrafficVeil Site Monitor обращается к сайту

Мониторинг нужен для проверки не только самого origin, но и всей цепочки доставки сайта через TrafficVeil.

В зависимости от конфигурации могут проверяться:

• доступность домена;
• HTTP- и HTTPS-ответ;
• код ответа сервера;
• время ответа;
• корректность SSL/TLS;
• доступность origin через защитный прокси;
• ошибки DNS или маршрутизации;
• ошибки конфигурации домена;
• критичные URL и health-check endpoint.

Если проверка обнаруживает проблему, данные мониторинга могут использоваться для диагностики и уведомления команды о сбое.

Почему TrafficVeil Site Monitor появляется в access.log

Проверка проходит через обычный HTTP-стек сайта, поэтому запрос может попадать в access.log так же, как браузерный трафик.

Но его поведение отличается от реального пользователя:

• нет обычной пользовательской сессии;
• запросы повторяются через заданные интервалы;
• обычно проверяется один или небольшой набор URL;
• нет переходов по внутренним ссылкам;
• нет поискового реферера;
• нет конверсий;
• активность продолжается круглосуточно.

Поэтому такие запросы необходимо выделять отдельно в аналитике TrafficVeil.

Какие URL может проверять монитор

Базовая проверка обычно обращается к главной странице или специально настроенному endpoint.

Типичные варианты:

• /;
• /health;
• /healthz;
• /status;
• критичная посадочная страница;
• специальный URL для проверки приложения.

Для динамических проектов предпочтительно использовать лёгкий health endpoint, если он позволяет достоверно проверить состояние приложения.

Как найти TrafficVeil Site Monitor в логах

Базовый поиск:

grep -i "trafficveil site monitor" /var/log/nginx/access.log

Топ проверяемых URL:

grep -i "trafficveil site monitor" /var/log/nginx/access.log \
| awk '{print $7}' \
| sort | uniq -c | sort -rn | head -30

Коды ответа:

grep -i "trafficveil site monitor" /var/log/nginx/access.log \
| awk '{print $9}' \
| sort | uniq -c | sort -rn

Топ IP:

grep -i "trafficveil site monitor" /var/log/nginx/access.log \
| awk '{print $1}' \
| sort | uniq -c | sort -rn | head -30

Суточная активность:

grep -i "trafficveil site monitor" /var/log/nginx/access.log \
| awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Как выглядит нормальный паттерн мониторинга

Почему Site Monitor нельзя считать обычным ботом

Антибот-система часто отвечает на вопрос: является ли запрос человеком или автоматизацией. Для TrafficVeil Site Monitor ответ очевиден — это автоматизация.

Но автоматизация не равна угрозе.

TrafficVeil Site Monitor относится к доверенному служебному трафику. Поэтому его правильный статус:

Automated + Verified service + Trusted.

Это позволяет отделить внутренний мониторинг от:

• поисковых роботов;
• AI-краулеров;
• scraper;
• security scanner;
• DDoS-трафика;
• неизвестных автоматических клиентов.

Нужно ли проверять TrafficVeil Site Monitor по IP и ASN

Да, если TrafficVeil хочет надёжно отличать собственный монитор от поддельного User-Agent.

Сам токен trafficveil site monitor можно скопировать. Поэтому высокий уровень доверия лучше выдавать только при совпадении нескольких признаков:

1. User-Agent совпадает с официальным паттерном;
2. IP принадлежит известной инфраструктуре TrafficVeil;
3. ASN или сеть ожидаемы;
4. TLS/HTTP fingerprint соответствует Site Monitor;
5. поведение соответствует health-check;
6. запрашиваемые URL соответствуют конфигурации мониторинга.

Что делать с поддельным TrafficVeil Site Monitor

Если внешний клиент использует UA TrafficVeil Site Monitor, но не проходит инфраструктурную или поведенческую проверку, ему нельзя автоматически присваивать trusted-статус.

Например, подозрительными являются:

• перебор /.env;
• запросы к backup-файлам;
• сканирование админок;
• тысячи несвязанных URL;
• резкие высокочастотные всплески;
• запросы из неожиданных residential/proxy сетей.

В таком случае TrafficVeil должен классифицировать запрос по фактическому поведению, а не по имени UA.

Нужно ли учитывать Site Monitor в статистике посетителей

Нет. Site Monitor не является человеком и не должен увеличивать показатели аудитории.

Его желательно исключить из:

• «живых посетителей»;
• просмотров страниц;
• визитов;
• конверсий;
• метрик пользовательской активности;
• расчёта доли человеческого трафика.

Но полностью скрывать его из технической аналитики тоже не стоит.

Лучше показывать отдельный класс:

Service traffic → TrafficVeil Site Monitor.

Нужно ли учитывать Site Monitor в bot statistics

Зависит от цели отчёта.

В общей технической статистике автоматизации его можно учитывать как service bot. Но в отчётах вида «обнаружено подозрительных ботов» или «нежелательный bot traffic» Site Monitor должен быть исключён.

Оптимальное разделение:

• Humans;
• Search bots;
• AI crawlers;
• Monitoring & service traffic;
• Suspicious bots;
• Blocked attacks.

Нужен ли robots.txt для TrafficVeil Site Monitor

Нет. Site Monitor не является поисковым crawler и не должен обнаруживать страницы по ссылкам.

Он обращается к заранее определённому URL мониторинга. Поэтому директивы:

User-agent: trafficveil site monitor
Disallow: /

не являются правильным механизмом управления этим сервисом.

Управление мониторингом должно происходить в настройках TrafficVeil, а не через robots.txt.

Почему блокировать Site Monitor через Nginx обычно не нужно

Правило:

if ($http_user_agent ~* "trafficveil site monitor") {
    return 403;
}

может привести к тому, что система мониторинга начнёт видеть сайт недоступным, хотя реальной проблемы нет.

Результатом могут стать:

• ложные downtime-события;
• ошибочные уведомления;
• ложные инциденты;
• искажение статистики uptime;
• лишняя диагностика.

Поэтому официальный Site Monitor должен быть разрешён.

Что лучше проверять: главную страницу или /health

У обоих подходов есть плюсы.

Для более надёжного мониторинга можно сочетать оба подхода: лёгкий health-check для частой проверки и периодический запрос к реальной странице.

Какие метрики стоит собирать

TrafficVeil Site Monitor может быть полезен не только для ответа «сайт работает или нет».

Полезные метрики:

• HTTP status;
• total response time;
• TTFB;
• TLS handshake time;
• DNS resolution time;
• размер ответа;
• ошибки соединения;
• таймауты;
• SSL expiration;
• ошибки origin;
• ошибки прокси.

Как TrafficVeil должен классифицировать собственный монитор

Что показывать пользователю в TrafficVeil

Вместо обычной рекомендации «разрешить или заблокировать» для собственного Site Monitor полезнее показывать понятный статус:

TrafficVeil Site Monitor — системный сервис. Используется для контроля доступности вашего сайта. Блокировка может привести к ложным уведомлениям о недоступности.

Также можно отображать:

• последнюю успешную проверку;
• последний HTTP status;
• response time;
• точку проверки;
• последнюю ошибку;
• uptime за 24 часа / 7 дней / 30 дней;
• статус origin;
• статус SSL.

Нужно ли разрешать пользователю блокировать Site Monitor

Технически такая возможность может существовать, но в интерфейсе её стоит сопровождать предупреждением.

Например:

Отключение TrafficVeil Site Monitor остановит автоматическую проверку доступности домена и может отключить связанные уведомления.

Для обычного пользователя более понятным действием будет не «Block bot», а «Отключить мониторинг».

Итог

TrafficVeil Site Monitor — доверенный внутренний сервис мониторинга TrafficVeil. Он автоматически проверяет доступность защищённых доменов через прокси и помогает обнаруживать проблемы с origin, SSL, маршрутизацией и конфигурацией.

Его запросы не являются реальными посещениями, поэтому их следует исключать из пользовательской аналитики. Одновременно они должны оставаться видимыми в отдельной категории service traffic.

Базовая политика для TrafficVeil Site Monitor — Verified + Trusted + Allow. Но доверие должно строиться не только на User-Agent: собственные IP, ASN, fingerprint и поведенческий профиль позволяют отличать настоящий монитор TrafficVeil от клиента, который просто подделал строку UA.