BomboraBot: этот бот технически не может зайти на сайт, который сам не подключил его тег

Официальная страница bombora.com/bot прямо переворачивает шаблонную классификацию из категории «рекламные и AdTech-боты»: BomboraBot не занимается проверкой рекламных посадочных или brand safety в привычном смысле — он обходит только те страницы, на которых уже стоит собственный тег (тег отслеживания) самой Bombora. Иными словами, этот бот в принципе не может появиться на произвольном сайте без ведома его владельца: сначала кто-то должен сознательно установить код Bombora на странице, и только после этого бот начнёт её посещать.

Чем занимается Bombora и зачем ей нужен именно такой краулер

Bombora — крупный поставщик B2B intent-данных: компания отслеживает, какие темы активно исследуют сотрудники разных организаций в интернете, и на основе этого строит сигналы «намерения» (Company Surge®) для отделов продаж и маркетинга — по сути, подсказку «эта компания сейчас активно изучает тему X, вероятно, готовится к покупке». Данные для этого поступают из так называемого Data Cooperative — партнёрской сети из более чем 5 000 B2B-издателей, брендовых сайтов и премиальных поставщиков данных, которые добровольно устанавливают тег Bombora на свои страницы в обмен на участие в этой экосистеме.

Официальная страница бота предельно конкретна в описании его ограничений: BomboraBot обходит каждый уникальный URL только один раз в 30 дней, и только если на этой странице фактически была зафиксирована посещаемость. Компания прямо заявляет, что не сканирует и не собирает контент за пределами страниц, где установлен её тег, — то есть это не массовый скрапер, а узкий, привязанный к добровольному партнёрству инструмент классификации содержимого уже подключённых страниц.

Параметры бота

Почему шаблонная классификация «нежелательный AdTech-бот» здесь неточна

Категория «рекламные и AdTech-боты» в исходном описании подразумевает проверку посадочных страниц и рекламных креативов чужих рекламодателей — то есть трафик, за которым сайт-жертва не стоит и с которым не заключал никаких договорённостей. У BomboraBot логика обратная: бот в принципе технически не может системно обходить сайт, который сам не подключил его тег. Если бот появляется в логах, это почти наверняка означает, что кто-то в организации — маркетинговая команда, отдел веб-разработки — сознательно установил код Bombora как часть партнёрства Data Cooperative, а не что сайт стал случайной жертвой стороннего скрапинга.

Как найти бота в логах

grep -i "bomborabot" /var/log/nginx/access.log

# Топ URL — должны совпадать со страницами, где стоит тег Bombora
grep -i "bomborabot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Если запросы концентрируются на страницах, где действительно установлен тег Bombora, — это соответствует заявленной модели работы; если бот появляется на страницах без этого тега, стоит проверить подлинность запроса через ASN/whois — это может быть подделка UA сторонним источником.

Стоит ли блокировать

• если сайт сознательно участвует в Data Cooperative Bombora как издатель — блокировка ломает саму суть партнёрства, ради которого тег и был установлен;
• если тег Bombora на сайте не устанавливался осознанно, а бот всё равно появляется, — стоит прежде всего проверить внутри организации, не подключила ли маркетинговая команда этот тег без широкого согласования, прежде чем реагировать блокировкой;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это узкоспециализированная B2B data-система, не связанная с поисковой индексацией.

Как настроить доступ

Явное разрешение для сайтов — сознательных участников Data Cooperative:

User-agent: bomborabot
Allow: /

Стандартный запрет с дублированием на уровне сервера, если участие в партнёрстве нежелательно или тег устанавливался ошибочно:

User-agent: bomborabot
Disallow: /

if ($http_user_agent ~* "bomborabot") {
    return 403;
}

Важная оговорка: поскольку бот заходит только на страницы с уже установленным тегом, для полного прекращения его визитов эффективнее и логичнее сначала удалить сам тег Bombora со страниц, чем полагаться только на блокировку по User-Agent.