Боты6 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

ContextualBot: вероятный оператор — Mobian, но без подтверждения

У ContextualBot нет официальной документации, но по совпадению названия и продуктовой линейки наиболее вероятный оператор — AI-платформа Mobian для контекстной безопасности бренда и оптимизации рекламы. Разбираемся, почему неравномерный, скачкообразный паттерн обхода характерен именно для такого типа AdTech-краулера, и когда allow может быть осмысленным решением для сайтов, зарабатывающих на программатик-рекламе.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота ContextualBot: нежелательный прочие краулеры и сервисы

ContextualBot — по независимым данным, краулер компании Mobian: AI-платформы контекстной аналитики и brand safety для цифровой рекламы (видео, мобильные приложения, CTV). Название бота и профиль продукта совпадают не случайно — контекстная разметка контента (какая эта страница «по смыслу», безопасна ли она для размещения рекламы конкретного бренда) буквально ядро того, чем занимается Mobian.

1. Что такое ContextualBot на самом деле

Mobian (themobian.ai) — AI-платформа для рекламодателей и агентств: даёт интеллектуальную оценку, измерение и оптимизацию цифровой рекламы, включая контекстную безопасность бренда (не показывать рекламу рядом с неподходящим контентом), верификацию размещений и контекстное таргетирование. Продукт встраивается напрямую в закупочные платформы рекламодателей (DSP/SSP) и, по собственному описанию компании, охватывает и новые AI-каналы обнаружения контента.

Чтобы контекстная классификация страниц работала, платформе нужен собственный краулер, который читает содержимое сайтов и присваивает им контекстные метки (тема, тональность, безопасность для конкретных категорий рекламодателей). ContextualBot, судя по независимой классификации как «intelligence gatherer», и есть этот компонент.

Параметр Значение
Название ContextualBot
Вероятный оператор Mobian (themobian.ai) — AI-платформа контекстной аналитики, brand safety и оптимизации digital-рекламы; связь установлена по совпадению названия и функционального профиля, не по прямому официальному заявлению самой компании
Предполагаемая роль Контекстная классификация страниц (тема, тональность, безопасность для брендов) для нужд рекламных клиентов Mobian
User-Agent / паттерн contextualbot
Официальная документация бота Не найдена напрямую от Mobian — идентификация основана на независимой классификации ботов
Список IP Не публикуется
robots.txt Нет данных о соблюдении
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы — вероятно, точнее звучало бы «Рекламные и AdTech-боты» (см. раздел 8)

2. Зачем ContextualBot приходит на сайт

  • если гипотеза об операторе верна — оценка страницы для контекстного таргетинга и brand safety: подходит ли этот конкретный контент для размещения рекламы того или иного рекламодателя;
  • крауling-паттерн у intelligence gatherer-ов такого типа обычно неравномерный: сайты, релевантные текущим задачам клиентов платформы, могут посещаться часто (вплоть до ежедневно/ежечасно), другие — не посещаться вовсе;
  • сбор не связан с интересами владельца сайта напрямую — данные используются рекламной экосистемой клиентов Mobian, а не возвращаются самому сайту.

Типичный кейс: неравномерная, скачкообразная активность — сайт может долго не привлекать внимания бота, а затем получить всплеск визитов, если стал релевантен чьей-то текущей рекламной кампании или мониторингу бренда.

3. Нагрузка и риски

Прямой пользы для владельца сайта, как правило, нет — контекстная разметка страницы используется рекламной инфраструктурой третьих лиц. Практический риск умеренный: в отличие от массовых content-краулеров, здесь нет системного обхода каталога целиком — активность сфокусирована на конкретных, релевантных для клиентов Mobian страницах.

Поскольку официального подтверждения от самой компании нет, нельзя полностью исключить и более широкий профиль сбора данных, чем узкая контекстная классификация — при значимой нагрузке или подозрительном паттерне стоит относиться к боту с той же осторожностью, что и к прочим непрозрачным AdTech-краулерам.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти ContextualBot в логах

# Базовый поиск
grep -i "contextualbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — ожидаемо неравномерная, скачкообразная
grep -i "contextualbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + неравномерный, привязанный к конкретным страницам паттерн обхода:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для ContextualBot

# Жёсткий запрет
User-agent: contextualbot
Disallow: /

# Разрешить всё
User-agent: contextualbot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: contextualbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "contextualbot") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_1bf74dc963c7_key {
    default "";
    "~*contextualbot" $binary_remote_addr;
}
limit_req_zone $tv_ng_1bf74dc963c7_key zone=tv_ng_1bf74dc963c7:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_1bf74dc963c7 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} contextualbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • найдите contextualbot в разделе ботов домена или в /system/bots;
  • если сайт не связан с рекламными кампаниями через платформы, использующие Mobian или похожую контекстную аналитику — прямой пользы нет, можно блокировать;
  • если сайт монетизируется через программатик-рекламу и заинтересован в присутствии в системах brand safety/контекстного таргетинга — allow может иметь смысл, поскольку именно контекстная разметка часто определяет, будет ли на странице показываться премиальная реклама;
  • после изменения сверьте логи: хиты ContextualBot должны уйти в блок/лимит, а нужные поисковики остаться.

7. Что делать: короткий алгоритм

  • Сайт не монетизируется через программатик-рекламу — блокируйте по умолчанию, прямой пользы нет;
  • Сайт зарабатывает на рекламе и заинтересован в контекстной классификации для brand safety — рассмотрите allow как сознательное решение, а не блокировку «на всякий случай»;
  • Нагрузка от неравномерных всплесков активности заметна — rate-limit как промежуточный шаг;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит рассмотреть перенос ContextualBot из общей категории «Прочие краулеры и сервисы» в «Рекламные и AdTech-боты» — рядом с GroovinaAdsbot, Amazon-Advertising-ad-standards-bot и подобными, уже размеченными в базе. По функциональному профилю (контекстная безопасность бренда, ad targeting) это тот же тип оператора, что и у явно AdTech-размеченных записей, а не безликий «прочий сервис».

Бот / сосед Кластер Комментарий
GroovinaAdsbot Рекламные и AdTech-боты (см. отдельную статью) Похожий случай — вероятный оператор идентифицирован по названию, официального подтверждения нет
Amazon-Advertising-ad-standards-bot Рекламные и AdTech-боты нежелательный, задокументированный AdTech-краулер для сравнения
BrandVerity Рекламные и AdTech-боты нежелательный, тоже brand safety/ad-verification направление
AudigentAdBot Рекламные и AdTech-боты нежелательный

9. Стратегия allow/deny для ContextualBot

Ситуация Действие
Сайт не монетизируется через программатик-рекламу Disallow + запрет в TrafficVeil
Сайт зарабатывает на рекламе, заинтересован в контекстном brand safety Allow, уточнив у команды монетизации, что это действительно нужная классификация
Нагрузка заметна, но природа неясна Rate-limit до выяснения
Нежелательный по базе TrafficVeil, дополнительных данных нет Deny по умолчанию — самый безопасный вариант при отсутствии официальной документации
Подозрение на spoofing UA Не доверять строке UA; смотреть IP/ASN и неравномерный, привязанный к конкретным страницам характер обхода
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Кто точно управляет ContextualBot?
Официального подтверждения нет — по совпадению названия и продукта наиболее вероятный кандидат это AI-платформа Mobian, но это предположение.
Зачем такому боту вообще посещать обычные сайты?
Чтобы классифицировать страницы по теме и безопасности для брендов — это нужно для контекстного таргетинга рекламы у клиентов платформы.
Почему активность бота такая неравномерная?
Потому что посещаются в первую очередь сайты, релевантные текущим рекламным кампаниям клиентов — остальные могут не посещаться вовсе.
Стоит ли блокировать ContextualBot по умолчанию?
Да, если сайт не монетизируется через программатик-рекламу — прямой пользы для владельца сайта в этом случае нет.
А если мой сайт зарабатывает на рекламе?
Тогда allow может иметь смысл — контекстная классификация часто влияет на то, будет ли на странице показываться премиальная реклама.
Правильно ли этот бот отнесён к категории «Прочие краулеры и сервисы»?
Вероятно, нет — по функциональному профилю его логичнее разместить рядом с другими AdTech-ботами вроде GroovinaAdsbot и BrandVerity.
#ContextualBot#Mobian#AdTech-боты#brand safety#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота GroovinaAdsbot: нежелательный рекламные и adtech-боты
Боты·6 мин

GroovinaAdsbot: вероятный оператор — Groovinads, но без подтверждения

У GroovinaAdsbot нет открытой документации, но по совпадению названия наиболее вероятный кандидат на роль оператора — AI-платформа Groovinads для управления рекламными кампаниями и программатик-закупки. Разбираемся, как это предположение согласуется с поведением бота в логах и почему отсутствие официальной политики — весомый аргумент за осторожный дефолт, а не выжидательный allow.

Читать
Уникальная иллюстрация бота McontextualBot: нежелательный прочие краулеры и сервисы
Боты·6 мин

McontextualBot: оператор сам подтверждает рекламную цель

В отличие от многих ботов с похожими названиями, McontextualBot имеет официальную страницу оператора MContextual, где прямо написано о сборе контента для контекстной рекламы, и подтверждён рабочий способ блокировки через robots.txt. Разбираемся, почему сверка по IP здесь малоинформативна из-за облачной инфраструктуры AWS/GCP и когда allow может быть осмысленным решением для монетизирующихся рекламой сайтов.

Читать
Уникальная иллюстрация бота AmazonAdBot: нежелательный рекламные и adtech-боты
Боты·5 мин

AmazonAdBot: у него есть собственный сайт с живым списком IP — и прямое предупреждение о деньгах при блокировке

В отличие от большинства AdTech-ботов, у AmazonAdBot есть полноценная официальная документация на adbot.amazon.com с обновляемым в реальном времени списком IP. Разбираем официальное назначение бота — brand safety и повышение релевантности рекламы Amazon Ads, — прямое предупреждение компании о влиянии блокировки на рекламный доход, и как не спутать его с совсем другим Amazonbot.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil