В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а HostTracker с User-Agent hosttracker. Это реальный и давно работающий сервис: HOST TRACKER LTD (Хаслмир, Суррей, Великобритания) предоставляет мониторинг доступности сайтов с 2004 года — с собственной сетью из более чем 300 проверочных точек по всему миру.
1. Что такое HostTracker
HostTracker проверяет сайты по протоколам HTTP(S), ICMP, SMTP, SNMP и TCP, с интервалом проверки вплоть до одной минуты. У сервиса есть официальный FAQ для вебмастеров (host-tracker.com/en/faq), где прямо даны технически важные ответы: во-первых, HostTracker не выполняет JavaScript при проверке сайта — то есть если у вас есть внутренняя система мониторинга поверх Google Analytics или похожего JS-инструмента, визиты HostTracker в них не попадут, но в серверных логах будут видны всегда. Во-вторых, оператор публикует официальный список IP-адресов всех своих проверочных серверов — редкий случай полноты информации для этой категории ботов.
| Название | HostTracker |
| User-Agent / паттерн | hosttracker |
| Оператор | HOST TRACKER LTD — сервис мониторинга доступности сайтов (Великобритания), работает с 2004 года |
| Роль | Проверяет доступность, время отклика и корректность сертификатов сайта с сети из 300+ мировых точек присутствия по HTTP(S), ICMP, SMTP, SNMP, TCP |
| Документация / ориентир | host-tracker.com/en/faq — официальный FAQ с прямыми ответами вебмастерам, включая ссылку на список IP |
| Список IP | ✅ Официально публикуется — полный список адресов всех проверочных серверов доступен по ссылке в FAQ; список может меняться по мере роста сети, поэтому сверяйтесь с актуальной версией |
| robots.txt | Публичных данных о соблюдении нет; поскольку сервис даёт возможность точечно исключить проверочные IP из мониторинга на своей стороне, для контроля эффективнее использовать именно официальный список IP, а не только файл |
| Пометка TrafficVeil | Легитимный / Мониторинг доступности |
2. Зачем HostTracker приходит на сайт
HostTracker проверяет доступность и скорость ответа — своего или чужого сайта, в зависимости от того, кто настроил проверку. Поскольку сервис не исполняет JavaScript, посещения не будут учтены как события в JS-трекерах вроде Google Analytics, но полноценно останутся в серверных access-логах — отсюда и типичное расхождение «в аналитике тихо, в логах хиты есть».
- Какие зоны чаще трогает: /, /health, /status, главная, критичные посадочные;
- Что ищет: код ответа, время отклика, валидность HTTPS-сертификата — с полной поддержкой HTTPS и явным репортингом ошибок сертификата;
- Чем отличается от браузерного пользователя: нет нормальной сессии, JavaScript не выполняется, интервалы регулярные (вплоть до раза в минуту).
Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — HostTracker. Это ожидаемо: поскольку сервис не запускает JS-код аналитики, в GA/Метрике эти визиты просто не отражаются, при этом в самом access.log они видны полностью.
3. Нагрузка и риски именно для HostTracker
Отдельной строки в публичной сводке top-bot TrafficVeil у hosttracker может не быть, но в категории «Мониторинг доступности» такие агенты дают характерный фон: частые probe-запросы засоряют логи, а чужой мониторинг может ходить чаще, чем нужно вашему собственному SLA. Полезная деталь именно для чтения логов HostTracker: по умолчанию соседние проверки с одинаковым результатом (все успешны или все с ошибкой) схлопываются оператором в одну запись в его собственных логах — если вы сверяете свою статистику с отчётами HostTracker, учитывайте эту особенность агрегации.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти HostTracker в логах
Не ищите «просто ботов» — ищите конкретный токен hosttracker и сверяйте IP с официальным списком.
# Базовый поиск
grep -i "hosttracker" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "hosttracker" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA — сверьте с официальным списком в FAQ host-tracker.com
grep -i "hosttracker" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "hosttracker" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк семейства uptime-мониторов
grep -iE "hosttracker|360monitoring|checkly|catchpoint" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт, но для HostTracker это один из немногих случаев, когда verification действительно простая: официальный список IP всех проверочных серверов опубликован в FAQ на host-tracker.com и обновляется по мере роста сети — сверяйтесь именно с ним, а не с однократным снимком.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для HostTracker
# Жёсткий запрет
User-agent: hosttracker
Disallow: /
# Разрешить всё
User-agent: hosttracker
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: hosttracker
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для hosttracker, если это не ваш checker. У сервиса также есть встроенная возможность точечно исключить конкретные IP из собственного мониторинга на стороне клиента — если это ваш аккаунт HostTracker и просто мешает конкретная проверка, проще настроить исключение там, чем блокировать на сервере.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "hosttracker") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_e2c6c055aa84_key {
default "";
"~*hosttracker" $binary_remote_addr;
}
limit_req_zone $tv_ng_e2c6c055aa84_key zone=tv_ng_e2c6c055aa84:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_e2c6c055aa84 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} hosttracker [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите hosttracker в ботах домена или в разделе /system/bots;
- Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
- Allow оставляйте, если это ваш собственный мониторинг — занесите официальные IP из FAQ host-tracker.com в allowlist;
- После изменения сверьте логи: хиты HostTracker должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.
7. Рекомендации: что делать с HostTracker
- Если это не ваш checker — смело ограничивайте через Disallow/403;
- Если ваш — внесите официальный список IP из FAQ HostTracker в allowlist TrafficVeil;
- Если нагрузка мешает, но выяснить владельца проверки не удаётся — начните с rate-limit, а не с жёсткого запрета;
- Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
- Что вы теряете при блокировке чужого монитора: как правило, ничего — это не источник трафика или SEO-сигналов, только чужой SLA-контроль.
8. С кем не путать HostTracker
| Бот / сосед | Кластер | UA | Комментарий |
| 360monitoring | Мониторинг доступности | 360monitoring | легитимный |
| Catchpoint | Мониторинг доступности | catchpoint | легитимный |
| Checkly | Мониторинг доступности | checkly | легитимный |
| EvoUptimeBot | Мониторинг доступности | evouptimebot | легитимный |
| FreshpingBot | Мониторинг доступности | freshpingbot | легитимный |
9. Стратегия allow/deny для HostTracker
| Ситуация | Действие |
| Это ваш собственный SLA-мониторинг | Allow + IP из официального FAQ в allowlist |
| Только мешает и жрёт ресурсы, не ваш | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Сверять с официальным списком IP на host-tracker.com — здесь это реально надёжный способ |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Почему HostTracker не виден в Google Analytics, но есть в access.log?
Публикует ли HostTracker официальный список IP-адресов?
С какой минимальной частотой HostTracker может проверять сайт?
Что делать, если мониторинг мой, но конкретная проверка мешает?
Опасно ли блокировать HostTracker, если это не мой мониторинг?
Как надёжнее всего проверить, что запрос от настоящего HostTracker?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.