Catchpoint в логах: энтерпрайз-мониторинг, а не рядовой чекер

Если отфильтровать access.log по catchpoint, часто всплывает целый пласт машинных хитов с ровными интервалами — это Catchpoint, платформа мониторинга цифрового опыта корпоративного уровня (Catchpoint Systems, Inc.). В отличие от бесплатных uptime-чекеров для небольших сайтов, это энтерпрайз-инструмент: synthetic и real-user monitoring с собственной сетью из более чем 800 точек присутствия по всему миру — backbone-, беспроводные, last-mile и облачные узлы.

1. Что такое Catchpoint

Catchpoint имитирует посещения сайта с разных географических локаций, чтобы измерить задержку, доступность и качество доставки контента конечным пользователям — от разрешения DNS и загрузки через CDN до последней мили у конкретного интернет-провайдера. Продукт ориентирован на крупный бизнес: клиенты сами выбирают конкретные узлы и локации для тестов, поэтому один и тот же UA в разных случаях может приходить с совершенно разных точек сети, в зависимости от того, какие узлы выбрал конкретный клиент Catchpoint.

2. Зачем Catchpoint приходит на сайт

Проверка запускается по расписанию, которое настроил клиент Catchpoint — это может быть владелец сайта, контролирующий собственный SLA, либо сторонняя компания (партнёр, поставщик, конкурент), которая через свою учётную запись в Catchpoint отслеживает доступность и скорость именно вашего сайта как часть внешней зависимости в своей инфраструктуре.

• Какие зоны чаще трогает: /, /health, /status, главная и другие критичные посадочные, указанные клиентом Catchpoint;
• Что ищет: latency, код ответа, время до полной загрузки, а на уровне сети — данные о маршрутизации, DNS и последней миле до пользователя;
• Чем отличается от браузерного пользователя: нет обычной сессии, тесты идут по расписанию из выбранных узлов сети Catchpoint, а не по интересу конкретного человека.

Типичный кейс: CDN-трафик дорожает, origin CPU нагружен рендерингом HTML. Фильтр по catchpoint показывает, что бот стабильно вычитывает главную, /health и /status — сам по себе это штатный энтерпрайз-мониторинг, но при активных тестах с нескольких сотен точек присутствия суммарная нагрузка от одного клиента Catchpoint может быть выше, чем от простого бесплатного uptime-чекера.

3. Нагрузка и риски именно для Catchpoint

Отдельной строки в публичной сводке top-bot TrafficVeil у catchpoint может не быть, но в категории «Мониторинг доступности» такие агенты дают характерный фон: частые probe-запросы засоряют логи, а чужой мониторинг может ходить чаще, чем нужно вашему собственному SLA. Поскольку Catchpoint — инструмент корпоративного уровня с сетью в сотни точек присутствия, обнаружение его в логах — сильный сигнал, что кто-то профессионально и системно следит за доступностью именно вашего сайта: это может быть партнёр, но также и конкурент, который использует ваш сайт как внешнюю зависимость в собственном мониторинге.

4. Как найти Catchpoint в логах

Не ищите «просто ботов» — ищите конкретный токен catchpoint и рядом смотрите соседей по семейству uptime-мониторов.

# Базовый поиск
grep -i "catchpoint" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "catchpoint" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA (у Catchpoint сотни точек присутствия — ожидайте разнообразие IP)
grep -i "catchpoint" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "catchpoint" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк семейства uptime-мониторов
grep -iE "catchpoint|360monitoring|checkly|hetrixtools" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + IP + частоту + набор URL. Официальные диапазоны IP у Catchpoint есть, но они специфичны для конкретных узлов/локаций, которые выбрал клиент, — единого статичного списка на все случаи нет, поэтому широкая разбросанность IP при этом UA — ожидаемое поведение, а не повод для подозрений сама по себе.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Catchpoint

# Жёсткий запрет
User-agent: catchpoint
Disallow: /

# Разрешить всё
User-agent: catchpoint
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: catchpoint
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для catchpoint, если это не ваш собственный мониторинг. Поскольку клиентом может быть и конкурент, отдельно оцените, устраивает ли вас, что кто-то системно и профессионально следит за доступностью и скоростью вашего сайта.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "catchpoint") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=catchpoint:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "catchpoint") {
        limit_req zone=catchpoint burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} catchpoint [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите catchpoint в ботах домена или в разделе /system/bots;
• Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
• Allow оставляйте, только если это ваш собственный настроенный мониторинг в Catchpoint;
• После изменения сверьте логи: хиты Catchpoint должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с Catchpoint

• Если это не ваш checker — смело ограничивайте через Disallow/403;
• Если ваш — внесите нужные диапазоны IP выбранных узлов в allowlist TrafficVeil, сверяясь с актуальными данными из личного кабинета Catchpoint или их документации;
• Если нагрузка мешает, но выяснить владельца проверки не удаётся — начните с rate-limit, а не с жёсткого запрета;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
• Что вы теряете при блокировке чужого монитора: как правило, ничего — это не источник трафика или SEO-сигналов, только чужой профессиональный SLA-контроль.

8. С кем не путать Catchpoint

9. Стратегия allow/deny для Catchpoint