ContextualBot — по независимым данным, краулер компании Mobian: AI-платформы контекстной аналитики и brand safety для цифровой рекламы (видео, мобильные приложения, CTV). Название бота и профиль продукта совпадают не случайно — контекстная разметка контента (какая эта страница «по смыслу», безопасна ли она для размещения рекламы конкретного бренда) буквально ядро того, чем занимается Mobian.
1. Что такое ContextualBot на самом деле
Mobian (themobian.ai) — AI-платформа для рекламодателей и агентств: даёт интеллектуальную оценку, измерение и оптимизацию цифровой рекламы, включая контекстную безопасность бренда (не показывать рекламу рядом с неподходящим контентом), верификацию размещений и контекстное таргетирование. Продукт встраивается напрямую в закупочные платформы рекламодателей (DSP/SSP) и, по собственному описанию компании, охватывает и новые AI-каналы обнаружения контента.
Чтобы контекстная классификация страниц работала, платформе нужен собственный краулер, который читает содержимое сайтов и присваивает им контекстные метки (тема, тональность, безопасность для конкретных категорий рекламодателей). ContextualBot, судя по независимой классификации как «intelligence gatherer», и есть этот компонент.
| Параметр | Значение |
| Название | ContextualBot |
| Вероятный оператор | Mobian (themobian.ai) — AI-платформа контекстной аналитики, brand safety и оптимизации digital-рекламы; связь установлена по совпадению названия и функционального профиля, не по прямому официальному заявлению самой компании |
| Предполагаемая роль | Контекстная классификация страниц (тема, тональность, безопасность для брендов) для нужд рекламных клиентов Mobian |
| User-Agent / паттерн | contextualbot |
| Официальная документация бота | Не найдена напрямую от Mobian — идентификация основана на независимой классификации ботов |
| Список IP | Не публикуется |
| robots.txt | Нет данных о соблюдении |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы — вероятно, точнее звучало бы «Рекламные и AdTech-боты» (см. раздел 8) |
2. Зачем ContextualBot приходит на сайт
- если гипотеза об операторе верна — оценка страницы для контекстного таргетинга и brand safety: подходит ли этот конкретный контент для размещения рекламы того или иного рекламодателя;
- крауling-паттерн у intelligence gatherer-ов такого типа обычно неравномерный: сайты, релевантные текущим задачам клиентов платформы, могут посещаться часто (вплоть до ежедневно/ежечасно), другие — не посещаться вовсе;
- сбор не связан с интересами владельца сайта напрямую — данные используются рекламной экосистемой клиентов Mobian, а не возвращаются самому сайту.
Типичный кейс: неравномерная, скачкообразная активность — сайт может долго не привлекать внимания бота, а затем получить всплеск визитов, если стал релевантен чьей-то текущей рекламной кампании или мониторингу бренда.
3. Нагрузка и риски
Прямой пользы для владельца сайта, как правило, нет — контекстная разметка страницы используется рекламной инфраструктурой третьих лиц. Практический риск умеренный: в отличие от массовых content-краулеров, здесь нет системного обхода каталога целиком — активность сфокусирована на конкретных, релевантных для клиентов Mobian страницах.
Поскольку официального подтверждения от самой компании нет, нельзя полностью исключить и более широкий профиль сбора данных, чем узкая контекстная классификация — при значимой нагрузке или подозрительном паттерне стоит относиться к боту с той же осторожностью, что и к прочим непрозрачным AdTech-краулерам.
4. Как найти ContextualBot в логах
# Базовый поиск
grep -i "contextualbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — ожидаемо неравномерная, скачкообразная
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + неравномерный, привязанный к конкретным страницам паттерн обхода:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для ContextualBot
# Жёсткий запрет
User-agent: contextualbot
Disallow: /
# Разрешить всё
User-agent: contextualbot
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: contextualbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "contextualbot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=contextualbot:10m rate=10r/m;
location / {
if ($http_user_agent ~* "contextualbot") {
limit_req zone=contextualbot burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} contextualbot [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- найдите contextualbot в разделе ботов домена или в /system/bots;
- если сайт не связан с рекламными кампаниями через платформы, использующие Mobian или похожую контекстную аналитику — прямой пользы нет, можно блокировать;
- если сайт монетизируется через программатик-рекламу и заинтересован в присутствии в системах brand safety/контекстного таргетинга — allow может иметь смысл, поскольку именно контекстная разметка часто определяет, будет ли на странице показываться премиальная реклама;
- после изменения сверьте логи: хиты ContextualBot должны уйти в блок/лимит, а нужные поисковики остаться.
7. Что делать: короткий алгоритм
- Сайт не монетизируется через программатик-рекламу — блокируйте по умолчанию, прямой пользы нет;
- Сайт зарабатывает на рекламе и заинтересован в контекстной классификации для brand safety — рассмотрите allow как сознательное решение, а не блокировку «на всякий случай»;
- Нагрузка от неравномерных всплесков активности заметна — rate-limit как промежуточный шаг;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Стоит рассмотреть перенос ContextualBot из общей категории «Прочие краулеры и сервисы» в «Рекламные и AdTech-боты» — рядом с GroovinaAdsbot, Amazon-Advertising-ad-standards-bot и подобными, уже размеченными в базе. По функциональному профилю (контекстная безопасность бренда, ad targeting) это тот же тип оператора, что и у явно AdTech-размеченных записей, а не безликий «прочий сервис».
| Бот / сосед | Кластер | Комментарий |
| GroovinaAdsbot | Рекламные и AdTech-боты (см. отдельную статью) | Похожий случай — вероятный оператор идентифицирован по названию, официального подтверждения нет |
| Amazon-Advertising-ad-standards-bot | Рекламные и AdTech-боты | нежелательный, задокументированный AdTech-краулер для сравнения |
| BrandVerity | Рекламные и AdTech-боты | нежелательный, тоже brand safety/ad-verification направление |
| AudigentAdBot | Рекламные и AdTech-боты | нежелательный |
9. Стратегия allow/deny для ContextualBot
| Ситуация | Действие |
| Сайт не монетизируется через программатик-рекламу | Disallow + запрет в TrafficVeil |
| Сайт зарабатывает на рекламе, заинтересован в контекстном brand safety | Allow, уточнив у команды монетизации, что это действительно нужная классификация |
| Нагрузка заметна, но природа неясна | Rate-limit до выяснения |
| Нежелательный по базе TrafficVeil, дополнительных данных нет | Deny по умолчанию — самый безопасный вариант при отсутствии официальной документации |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и неравномерный, привязанный к конкретным страницам характер обхода |