ContextualBot — по независимым данным, краулер компании Mobian: AI-платформы контекстной аналитики и brand safety для цифровой рекламы (видео, мобильные приложения, CTV). Название бота и профиль продукта совпадают не случайно — контекстная разметка контента (какая эта страница «по смыслу», безопасна ли она для размещения рекламы конкретного бренда) буквально ядро того, чем занимается Mobian.
1. Что такое ContextualBot на самом деле
Mobian (themobian.ai) — AI-платформа для рекламодателей и агентств: даёт интеллектуальную оценку, измерение и оптимизацию цифровой рекламы, включая контекстную безопасность бренда (не показывать рекламу рядом с неподходящим контентом), верификацию размещений и контекстное таргетирование. Продукт встраивается напрямую в закупочные платформы рекламодателей (DSP/SSP) и, по собственному описанию компании, охватывает и новые AI-каналы обнаружения контента.
Чтобы контекстная классификация страниц работала, платформе нужен собственный краулер, который читает содержимое сайтов и присваивает им контекстные метки (тема, тональность, безопасность для конкретных категорий рекламодателей). ContextualBot, судя по независимой классификации как «intelligence gatherer», и есть этот компонент.
| Параметр | Значение |
| Название | ContextualBot |
| Вероятный оператор | Mobian (themobian.ai) — AI-платформа контекстной аналитики, brand safety и оптимизации digital-рекламы; связь установлена по совпадению названия и функционального профиля, не по прямому официальному заявлению самой компании |
| Предполагаемая роль | Контекстная классификация страниц (тема, тональность, безопасность для брендов) для нужд рекламных клиентов Mobian |
| User-Agent / паттерн | contextualbot |
| Официальная документация бота | Не найдена напрямую от Mobian — идентификация основана на независимой классификации ботов |
| Список IP | Не публикуется |
| robots.txt | Нет данных о соблюдении |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы — вероятно, точнее звучало бы «Рекламные и AdTech-боты» (см. раздел 8) |
2. Зачем ContextualBot приходит на сайт
- если гипотеза об операторе верна — оценка страницы для контекстного таргетинга и brand safety: подходит ли этот конкретный контент для размещения рекламы того или иного рекламодателя;
- крауling-паттерн у intelligence gatherer-ов такого типа обычно неравномерный: сайты, релевантные текущим задачам клиентов платформы, могут посещаться часто (вплоть до ежедневно/ежечасно), другие — не посещаться вовсе;
- сбор не связан с интересами владельца сайта напрямую — данные используются рекламной экосистемой клиентов Mobian, а не возвращаются самому сайту.
Типичный кейс: неравномерная, скачкообразная активность — сайт может долго не привлекать внимания бота, а затем получить всплеск визитов, если стал релевантен чьей-то текущей рекламной кампании или мониторингу бренда.
3. Нагрузка и риски
Прямой пользы для владельца сайта, как правило, нет — контекстная разметка страницы используется рекламной инфраструктурой третьих лиц. Практический риск умеренный: в отличие от массовых content-краулеров, здесь нет системного обхода каталога целиком — активность сфокусирована на конкретных, релевантных для клиентов Mobian страницах.
Поскольку официального подтверждения от самой компании нет, нельзя полностью исключить и более широкий профиль сбора данных, чем узкая контекстная классификация — при значимой нагрузке или подозрительном паттерне стоит относиться к боту с той же осторожностью, что и к прочим непрозрачным AdTech-краулерам.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти ContextualBot в логах
# Базовый поиск
grep -i "contextualbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — ожидаемо неравномерная, скачкообразная
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + неравномерный, привязанный к конкретным страницам паттерн обхода:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для ContextualBot
# Жёсткий запрет
User-agent: contextualbot
Disallow: /
# Разрешить всё
User-agent: contextualbot
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: contextualbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
6. Блокировка вручную и через TrafficVeil
Nginx:
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "contextualbot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_1bf74dc963c7_key {
default "";
"~*contextualbot" $binary_remote_addr;
}
limit_req_zone $tv_ng_1bf74dc963c7_key zone=tv_ng_1bf74dc963c7:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_1bf74dc963c7 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} contextualbot [NC]
RewriteRule ^ - [F,L]
TrafficVeil:
- найдите contextualbot в разделе ботов домена или в /system/bots;
- если сайт не связан с рекламными кампаниями через платформы, использующие Mobian или похожую контекстную аналитику — прямой пользы нет, можно блокировать;
- если сайт монетизируется через программатик-рекламу и заинтересован в присутствии в системах brand safety/контекстного таргетинга — allow может иметь смысл, поскольку именно контекстная разметка часто определяет, будет ли на странице показываться премиальная реклама;
- после изменения сверьте логи: хиты ContextualBot должны уйти в блок/лимит, а нужные поисковики остаться.
7. Что делать: короткий алгоритм
- Сайт не монетизируется через программатик-рекламу — блокируйте по умолчанию, прямой пользы нет;
- Сайт зарабатывает на рекламе и заинтересован в контекстной классификации для brand safety — рассмотрите allow как сознательное решение, а не блокировку «на всякий случай»;
- Нагрузка от неравномерных всплесков активности заметна — rate-limit как промежуточный шаг;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Стоит рассмотреть перенос ContextualBot из общей категории «Прочие краулеры и сервисы» в «Рекламные и AdTech-боты» — рядом с GroovinaAdsbot, Amazon-Advertising-ad-standards-bot и подобными, уже размеченными в базе. По функциональному профилю (контекстная безопасность бренда, ad targeting) это тот же тип оператора, что и у явно AdTech-размеченных записей, а не безликий «прочий сервис».
| Бот / сосед | Кластер | Комментарий |
| GroovinaAdsbot | Рекламные и AdTech-боты (см. отдельную статью) | Похожий случай — вероятный оператор идентифицирован по названию, официального подтверждения нет |
| Amazon-Advertising-ad-standards-bot | Рекламные и AdTech-боты | нежелательный, задокументированный AdTech-краулер для сравнения |
| BrandVerity | Рекламные и AdTech-боты | нежелательный, тоже brand safety/ad-verification направление |
| AudigentAdBot | Рекламные и AdTech-боты | нежелательный |
9. Стратегия allow/deny для ContextualBot
| Ситуация | Действие |
| Сайт не монетизируется через программатик-рекламу | Disallow + запрет в TrafficVeil |
| Сайт зарабатывает на рекламе, заинтересован в контекстном brand safety | Allow, уточнив у команды монетизации, что это действительно нужная классификация |
| Нагрузка заметна, но природа неясна | Rate-limit до выяснения |
| Нежелательный по базе TrafficVeil, дополнительных данных нет | Deny по умолчанию — самый безопасный вариант при отсутствии официальной документации |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и неравномерный, привязанный к конкретным страницам характер обхода |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Кто точно управляет ContextualBot?
Зачем такому боту вообще посещать обычные сайты?
Почему активность бота такая неравномерная?
Стоит ли блокировать ContextualBot по умолчанию?
А если мой сайт зарабатывает на рекламе?
Правильно ли этот бот отнесён к категории «Прочие краулеры и сервисы»?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.