В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а HostTracker с User-Agent hosttracker. Это реальный и давно работающий сервис: HOST TRACKER LTD (Хаслмир, Суррей, Великобритания) предоставляет мониторинг доступности сайтов с 2004 года — с собственной сетью из более чем 300 проверочных точек по всему миру.
1. Что такое HostTracker
HostTracker проверяет сайты по протоколам HTTP(S), ICMP, SMTP, SNMP и TCP, с интервалом проверки вплоть до одной минуты. У сервиса есть официальный FAQ для вебмастеров (host-tracker.com/en/faq), где прямо даны технически важные ответы: во-первых, HostTracker не выполняет JavaScript при проверке сайта — то есть если у вас есть внутренняя система мониторинга поверх Google Analytics или похожего JS-инструмента, визиты HostTracker в них не попадут, но в серверных логах будут видны всегда. Во-вторых, оператор публикует официальный список IP-адресов всех своих проверочных серверов — редкий случай полноты информации для этой категории ботов.
| Название | HostTracker |
| User-Agent / паттерн | hosttracker |
| Оператор | HOST TRACKER LTD — сервис мониторинга доступности сайтов (Великобритания), работает с 2004 года |
| Роль | Проверяет доступность, время отклика и корректность сертификатов сайта с сети из 300+ мировых точек присутствия по HTTP(S), ICMP, SMTP, SNMP, TCP |
| Документация / ориентир | host-tracker.com/en/faq — официальный FAQ с прямыми ответами вебмастерам, включая ссылку на список IP |
| Список IP | ✅ Официально публикуется — полный список адресов всех проверочных серверов доступен по ссылке в FAQ; список может меняться по мере роста сети, поэтому сверяйтесь с актуальной версией |
| robots.txt | Публичных данных о соблюдении нет; поскольку сервис даёт возможность точечно исключить проверочные IP из мониторинга на своей стороне, для контроля эффективнее использовать именно официальный список IP, а не только файл |
| Пометка TrafficVeil | Легитимный / Мониторинг доступности |
2. Зачем HostTracker приходит на сайт
HostTracker проверяет доступность и скорость ответа — своего или чужого сайта, в зависимости от того, кто настроил проверку. Поскольку сервис не исполняет JavaScript, посещения не будут учтены как события в JS-трекерах вроде Google Analytics, но полноценно останутся в серверных access-логах — отсюда и типичное расхождение «в аналитике тихо, в логах хиты есть».
- Какие зоны чаще трогает: /, /health, /status, главная, критичные посадочные;
- Что ищет: код ответа, время отклика, валидность HTTPS-сертификата — с полной поддержкой HTTPS и явным репортингом ошибок сертификата;
- Чем отличается от браузерного пользователя: нет нормальной сессии, JavaScript не выполняется, интервалы регулярные (вплоть до раза в минуту).
Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — HostTracker. Это ожидаемо: поскольку сервис не запускает JS-код аналитики, в GA/Метрике эти визиты просто не отражаются, при этом в самом access.log они видны полностью.
3. Нагрузка и риски именно для HostTracker
Отдельной строки в публичной сводке top-bot TrafficVeil у hosttracker может не быть, но в категории «Мониторинг доступности» такие агенты дают характерный фон: частые probe-запросы засоряют логи, а чужой мониторинг может ходить чаще, чем нужно вашему собственному SLA. Полезная деталь именно для чтения логов HostTracker: по умолчанию соседние проверки с одинаковым результатом (все успешны или все с ошибкой) схлопываются оператором в одну запись в его собственных логах — если вы сверяете свою статистику с отчётами HostTracker, учитывайте эту особенность агрегации.
4. Как найти HostTracker в логах
Не ищите «просто ботов» — ищите конкретный токен hosttracker и сверяйте IP с официальным списком.
# Базовый поиск
grep -i "hosttracker" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "hosttracker" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA — сверьте с официальным списком в FAQ host-tracker.com
grep -i "hosttracker" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "hosttracker" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк семейства uptime-мониторов
grep -iE "hosttracker|360monitoring|checkly|catchpoint" /var/log/nginx/access.log | wc -lВерификация. Подделать User-Agent может любой скрипт, но для HostTracker это один из немногих случаев, когда verification действительно простая: официальный список IP всех проверочных серверов опубликован в FAQ на host-tracker.com и обновляется по мере роста сети — сверяйтесь именно с ним, а не с однократным снимком.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для HostTracker
# Жёсткий запрет
User-agent: hosttracker
Disallow: /
# Разрешить всё
User-agent: hosttracker
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: hosttracker
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: ставьте Disallow или 403 для hosttracker, если это не ваш checker. У сервиса также есть встроенная возможность точечно исключить конкретные IP из собственного мониторинга на стороне клиента — если это ваш аккаунт HostTracker и просто мешает конкретная проверка, проще настроить исключение там, чем блокировать на сервере.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "hosttracker") {
return 403;
}
limit_req_zone $binary_remote_addr zone=hosttracker:10m rate=10r/m;
location / {
if ($http_user_agent ~* "hosttracker") {
limit_req zone=hosttracker burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} hosttracker [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите hosttracker в ботах домена или в разделе /system/bots;
- Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
- Allow оставляйте, если это ваш собственный мониторинг — занесите официальные IP из FAQ host-tracker.com в allowlist;
- После изменения сверьте логи: хиты HostTracker должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.
7. Рекомендации: что делать с HostTracker
- Если это не ваш checker — смело ограничивайте через Disallow/403;
- Если ваш — внесите официальный список IP из FAQ HostTracker в allowlist TrafficVeil;
- Если нагрузка мешает, но выяснить владельца проверки не удаётся — начните с rate-limit, а не с жёсткого запрета;
- Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
- Что вы теряете при блокировке чужого монитора: как правило, ничего — это не источник трафика или SEO-сигналов, только чужой SLA-контроль.
8. С кем не путать HostTracker
| Бот / сосед | Кластер | UA | Комментарий |
| 360monitoring | Мониторинг доступности | 360monitoring | легитимный |
| Catchpoint | Мониторинг доступности | catchpoint | легитимный |
| Checkly | Мониторинг доступности | checkly | легитимный |
| EvoUptimeBot | Мониторинг доступности | evouptimebot | легитимный |
| FreshpingBot | Мониторинг доступности | freshpingbot | легитимный |
9. Стратегия allow/deny для HostTracker
| Ситуация | Действие |
| Это ваш собственный SLA-мониторинг | Allow + IP из официального FAQ в allowlist |
| Только мешает и жрёт ресурсы, не ваш | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Сверять с официальным списком IP на host-tracker.com — здесь это реально надёжный способ |