BrandVerity: бот часто работает в защиту чужого бренда, а не против вашего сайта

BrandVerity — не безымянный рекламный краулер, а работающая с 2008 года SaaS-платформа для защиты бренда в paid search и партнёрских программах. И здесь важна ключевая деталь, которая переворачивает шаблонную оценку из категории «рекламные и AdTech-боты»: клиент BrandVerity — почти всегда сам владелец бренда, который платит за то, чтобы платформа искала нарушения, направленные против него самого, а не рекламодатель, использующий бота для продвижения. То есть цель этого краулера обычно противоположна тому, что подразумевает шаблонное отнесение к «AdTech».

Что именно ищет платформа и почему это касается посадочных страниц и UTM-ссылок

Основная функция BrandVerity — мониторинг платной поисковой рекламы (Google и Bing) на предмет несанкционированного использования брендовых ключевых слов: например, конкурент или недобросовестный партнёр запускает рекламу по вашему товарному знаку, пытаясь перехватить трафик, предназначенный вам. Платформа ежедневно анализирует тысячи результатов поисковой выдачи в разных географических локациях и формирует отчёт о нарушениях с возможностью массовой подачи запросов на удаление рекламы. Отдельная и не менее важная функция — контроль партнёрского (affiliate) канала: платформа автоматически отслеживает маркетинговую активность партнёров и аффилиатов клиента, чтобы поймать нарушения программных правил или регуляторные риски. Именно поэтому бот заходит на посадочные страницы, страницы с UTM-метками и advertorial-контент — он проверяет, куда реально ведут найденные объявления и не нарушают ли они условия партнёрской программы или права на товарный знак.

Параметры бота

Почему шаблонная классификация «нежелательный» требует уточнения

В отличие от типичного бота из категории AdTech, который анализирует страницы ради размещения или таргетинга чужой рекламы, BrandVerity в подавляющем большинстве случаев работает в интересах владельца самого бренда — просто не напрямую владельца конкретного домена, на который заходит бот, а третьей стороны (клиента BrandVerity), чьи товарные знаки могли быть незаконно использованы в рекламе, ведущей на этот домен. Если сайт сам оказался объектом такой проверки (например, потому что кто-то разместил рекламу по чужому бренду, ведущую на ваш сайт как партнёрский лендинг), присутствие бота — часть процесса расследования потенциального нарушения, а не попытка что-либо украсть с самого сайта.

Сколько трафика он создаёт

Учитывая, что платформа ежедневно анализирует тысячи результатов поисковой выдачи в разных геолокациях, а затем проверяет конкретные найденные объявления и их целевые страницы, нагрузка на отдельный сайт обычно точечная — обход концентрируется на конкретных посадочных страницах и UTM-вариантах URL, которые попали в поле зрения расследования, а не на сайте в целом.

Как найти бота в логах

grep -i "brandverity" /var/log/nginx/access.log

# Топ URL — посадочные, UTM-варианты, advertorial
grep -i "brandverity" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Поскольку официального списка IP нет, для проверки подлинности при аномальной активности стоит свериться с ASN конкретных IP через whois.

Стоит ли блокировать

• если сайт участвует в партнёрских программах или размещает рекламу от имени других брендов — присутствие BrandVerity скорее нейтрально или даже полезно для экосистемы в целом: это инструмент борьбы с недобросовестной рекламной практикой, а не угроза для конкретного добросовестного партнёра;
• если сайт вообще не связан с paid search или партнёрским маркетингом, а бот всё равно заходит — вероятно, это часть расследования по неизвестной для владельца сайта причине (например, чужая недобросовестная реклама действительно ведёт на этот домен), и стоит по возможности разобраться в первопричине, а не сразу блокировать;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как настроить доступ

Стандартный запрет через robots.txt, если присутствие бота нежелательно:

User-agent: brandverity
Disallow: /

if ($http_user_agent ~* "brandverity") {
    return 403;
}

Если бот только мешает нагрузкой на конкретные посадочные страницы без затрагивания остального сайта, разумная альтернатива — ограничение частоты вместо полного запрета:

limit_req_zone $binary_remote_addr zone=brandverity:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "brandverity") {
        limit_req zone=brandverity burst=20 nodelay;
    }
}