HubSpot в логах: чей это краулер сканирует ваш сайт

HubSpot знают почти все — крупный сервис маркетинга, продаж и CRM с миллионами пользователей по всему миру. Но появление токена hubspot в access.log вашего сайта далеко не всегда означает, что кто-то из вашей команды подключил именно этот сервис: чаще это след одного из фирменных ботов HubSpot, которые запускаются по инициативе стороннего пользователя платформы. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».

Что такое HubSpot-бот на самом деле

Официально HubSpot задокументировал как минимум два разных краулера с собственными user-agent: HubSpot Crawler — для SEO-инструментов, которые сканируют указанный URL, и HubSpotContentSearchBot — отдельный агент для функции поиска по сайту, если клиент HubSpot использует их модуль site search. По данным сторонних каталогов ботов, всего у HubSpot насчитывается около полудюжины разных ботов, каждый со своим UA, который можно разрешать или блокировать независимо от остальных.

Важная деталь, которую часто путают: клиентский трекинг HubSpot — формы, чат-виджет, marketing automation — работает через JavaScript-скрипт прямо в браузере реального посетителя сайта, и в access.log такой визит выглядит как обычная сессия человека, а не как отдельный бот. Токен hubspot в UA относится именно к серверным краулерам, а не к этому клиентскому трекингу.

Зачем HubSpot-бот приходит на сайт

Ключевой вопрос здесь не «зачем боту вообще нужен сайт», а «чей это HubSpot-аккаунт». Если ваш сайт не работает на HubSpot и никто из команды не запускал их SEO-инструменты, скорее всего, кто-то другой — например, компания, изучающая вашу нишу как конкурент, или партнёр, проверяющий партнёрскую ссылку, — ввёл ваш URL в свои HubSpot-инструменты сканирования. Это не редкость: HubSpot Crawler запускается по запросу любого пользователя платформы, а не только владельца целевого домена.

Типичный сигнал для диагностики: CDN-трафик подрастает, origin CPU занят вычиткой HTML, а фильтр по hubspot показывает обход публичных URL, иногда открытого API и статики — без какой-либо связи с формами или чатом на вашем сайте, потому что тех у вас может и не быть вовсе.

Нагрузка и риски именно для HubSpot-бота

Отдельной строки в публичной сводке топ-ботов TrafficVeil у hubspot может не быть, но для категории «Прочие краулеры и сервисы» характерен один и тот же фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без единой конверсии. Смотрите не только на абсолютный RPS, но и на качество хитов:

• глубину обхода — повторы одних и тех же URL или систематический проход по разделам;
• отсутствие cookie и признаков сессии;
• концентрацию на служебных или, наоборот, самых «листовых» страницах.

Как найти HubSpot-бота в логах

Не ищите «просто ботов» — ищите конкретный токен hubspot и сразу смотрите соседей по семейству, поскольку под этим именем скрывается сразу несколько разных инструментов.

# Базовый поиск
grep -i "hubspot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "hubspot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "hubspot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "hubspot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация: официального списка IP у HubSpot не публикуется, поэтому подделать UA технически может любой скрипт. Смотрите связку UA + ASN/IP + частота + набор URL. Единичный проход по паре URL, не связанных с известными вам партнёрами, — типичный признак стороннего сканирования, а не собственной интеграции.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для HubSpot

# Жёсткий запрет
User-agent: hubspot
Disallow: /

# Разрешить всё
User-agent: hubspot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: hubspot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важная деталь: если ваш сайт использует функцию site search на HubSpot, отдельно нужно разрешить именно HubSpotContentSearchBot — иначе поиск по сайту перестанет корректно индексировать страницы. Общее правило по токену hubspot не всегда покрывает это исключение, поэтому для клиентов HubSpot стоит прописывать правила по каждому боту отдельно.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "hubspot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=hubspot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "hubspot") {
        limit_req zone=hubspot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} hubspot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите hubspot / HubSpot в ботах домена или в /system/bots;
• для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
• allow оставляйте только если сайт действительно интегрирован с HubSpot и использует, например, их site search;
• после изменения сверьте логи: хиты HubSpot должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать HubSpot

Стратегия allow/deny для HubSpot

Главный вывод по HubSpot: сам факт визита не означает, что это ваш инструмент. Прежде чем решать между allow и запретом, стоит понять, работает ли сайт с HubSpot вообще, — и уже от этого отталкиваться, а не от одной узнаваемой строки в логах.