HubSpot Crawler: скорее всего это работает ваш же маркетолог

HubSpot Crawler — краулер экосистемы HubSpot: обходит внешние URL для SEO-инструментов, импорта контента и связанных проверок. Это не поисковый Googlebot и не универсальный «маркетинг-скрапер мира» — трафик появляется, когда кто-то использует продукты HubSpot против вашего домена (или своих страниц). По классификации Cloudflare Radar, боты HubSpot относятся к типу с «intermediary»-доступом: ими управляет не только сама компания, а конечные пользователи — маркетологи или агентства, настроившие конкретный инструмент HubSpot. Практически это значит: если бот появился в логах, велика вероятность, что кто-то из вашей же команды (или клиент, работающий с доменом через HubSpot) сам инициировал эту активность.

Параметры

Семейство ботов HubSpot: не только Crawler

Помимо основного HubSpot Crawler, в логах может встречаться ещё несколько родственных UA:

• HubSpotContentSearchBot — отдельный бот именно для функции поиска по сайту внутри HubSpot CMS; если у вас используется этот модуль, для него нужно отдельное правило Allow в robots.txt, иначе поиск на сайте перестанет работать корректно
• HubSpot Single Page link check (контакт web-crawlers+links@hubspot.com) — проверяет отдельные ссылки, например при валидации URL в письмах или лендингах
• HubSpot Connect 2.0 — обобщённое имя для линейки интеграционных задач: проверка домена, сканирование на malware, работа файлового менеджера контента

Каждый из этих UA решает свою задачу, и это стоит учитывать при настройке правил — блокировка одного не обязательно затронет остальные.

Нагрузка

По сводке TrafficVeil паттерн HubSpot crawler — порядка 12 тысяч запросов (март–июнь 2026, июнь по 14.06). Объём умеренный и типичный для инструмента, работающего по запросу пользователей HubSpot, а не по расписанию массового обхода.

Контроль

grep -i "HubSpot" /var/log/nginx/access.log

User-agent: HubSpot Crawler
Disallow: /

if ($http_user_agent ~* "HubSpot Crawler|HubSpot Links") {
    return 403;
}

Верификация

Строку UA легко подделать, поэтому для большей уверенности сверяйте источник запроса с опубликованными диапазонами оператора, где это возможно — принадлежность IP подделать сложнее, чем текст заголовка. Официального компактного списка HubSpot не публикует, но исторически запросы фиксировались с адресов из блока Amazon/AWS — используйте это как дополнительный, а не единственный ориентир.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Рекомендации

• Ваши маркетологи живут в HubSpot и аудитят сайт — Allow
• Используете модуль site search HubSpot CMS — не забудьте отдельное правило Allow для HubSpotContentSearchBot, иначе сломается поиск по сайту
• Чужой SEO-crawl HubSpot не нужен — Disallow + deny, соблюдение robots.txt подтверждено, поэтому директива сработает надёжно
• Не путать с блокировкой всего HubSpot tracking — это другие UA и скрипты, отвечающие за аналитику на самом сайте, а не за краулинг
• На Google ranking блокировка не влияет