Боты6 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

McontextualBot: оператор сам подтверждает рекламную цель

В отличие от многих ботов с похожими названиями, McontextualBot имеет официальную страницу оператора MContextual, где прямо написано о сборе контента для контекстной рекламы, и подтверждён рабочий способ блокировки через robots.txt. Разбираемся, почему сверка по IP здесь малоинформативна из-за облачной инфраструктуры AWS/GCP и когда allow может быть осмысленным решением для монетизирующихся рекламой сайтов.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота McontextualBot: нежелательный прочие краулеры и сервисы

McontextualBot — редкий случай, когда у краулера есть собственная официальная страница с прямым признанием цели обхода. Оператор — компания MContextual (mcontextual.net), которая сама пишет на своём сайте: бот сканирует сайты в целях контекстной рекламы. Это не предположение по названию, как в некоторых других статьях этой энциклопедии, а прямое заявление оператора.

1. Что такое McontextualBot на самом деле

MContextual — рекламная компания, чей краулер собирает содержимое сайтов для контекстного таргетинга рекламы: определения темы и характера страницы, чтобы затем рекомендовать рекламодателям подходящие площадки для размещения объявлений. Официальная страница оператора прямо подтверждает это назначение и даёт точную строку User-Agent.

Mozilla/5.0 (compatible; McontextualBot/0.1; +http://mcontextual.net/mcontextual-bot)

Там же оператор указывает практическую деталь для верификации: запросы бота идут с адресов AWS и GCP — то есть с облачной инфраструктуры, а не с выделенного корпоративного диапазона. Это значит, что сверка по ASN сама по себе малоинформативна: и легитимный McontextualBot, и потенциальный спуфер могут в равной степени оказаться в облаке одного из этих провайдеров.

Параметр Значение
Название McontextualBot
Оператор MContextual (mcontextual.net) — официально подтверждено самим оператором, не предположение
Роль Сбор содержимого сайтов для контекстного таргетинга рекламы у клиентов-рекламодателей
User-Agent / паттерн Mozilla/5.0 (compatible; McontextualBot/0.1; +http://mcontextual.net/mcontextual-bot)
Инфраструктура По заявлению самого оператора — AWS и GCP, а не выделенный корпоративный диапазон
robots.txt Официально подтверждено оператором: бота можно заблокировать стандартными директивами robots.txt
Статистика (независимые данные) 0% топ-1000 сайтов блокируют McontextualBot; основной трафик идёт из США
Более точная категория Рекламные и AdTech-боты (контекстный таргетинг) — не безликий «прочий сервис»
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы — категория, вероятно, требует уточнения (см. раздел 8)

2. Зачем McontextualBot приходит на сайт

  • оценка тематики и содержания страницы для контекстного размещения рекламы — определяет, подходит ли данная страница для показа объявлений конкретных категорий рекламодателей;
  • сбор данных не связан с интересами владельца сайта напрямую: результат используется рекламной платформой MContextual и её клиентами, а не возвращается самому сайту;
  • поскольку это intelligence gatherer-тип бота, паттерн обхода может быть неравномерным — активнее там, где размещение рекламы актуально для текущих клиентов оператора.

Типичный кейс: бот проверяет публичные страницы сайта без выраженной концентрации на конкретных технических или служебных разделах — интерес представляет содержательная часть страниц, которая может быть оценена для контекстного таргетинга.

3. Нагрузка и риски

Прямой пользы для владельца сайта, как правило, нет — данные уходят в рекламную инфраструктуру MContextual и используется для решений о размещении чужой рекламы, а не возвращаются сайту в виде трафика или дохода. Показательно, что независимая статистика фиксирует 0% блокировки среди топовых сайтов — большинство владельцев либо не замечают этот трафик, либо не считают его достаточно значимым, чтобы реагировать.

Поскольку инфраструктура бота — общедоступные облачные адреса AWS/GCP, а не выделенный диапазон, IP-адрес сам по себе слабый сигнал для верификации: нужно смотреть именно на полную строку UA и характер обхода, а не полагаться на принадлежность IP крупному облачному провайдеру как на признак легитимности или, наоборот, подозрительности.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти McontextualBot в логах

# Базовый поиск
grep -i "mcontextualbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "mcontextualbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — не показатель сам по себе из-за облачной инфраструктуры
grep -i "mcontextualbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "mcontextualbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального публикуемого списка конкретных IP нет — только общее указание на AWS/GCP, поэтому сверка по принадлежности облаку малоинформативна. Для решения allow/deny смотрите полную строку UA (включая версию и ссылку на mcontextual.net) в связке с характером обхода:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для McontextualBot

# Жёсткий запрет — официально подтверждённый оператором рабочий способ
User-agent: McontextualBot
Disallow: /

# Разрешить всё
User-agent: McontextualBot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: McontextualBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

В отличие от многих других записей энциклопедии, здесь блокировка через robots.txt — не просто пожелание, а официально подтверждённый самим оператором рабочий метод.

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "mcontextualbot") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_4e3b62c3af15_key {
    default "";
    "~*mcontextualbot" $binary_remote_addr;
}
limit_req_zone $tv_ng_4e3b62c3af15_key zone=tv_ng_4e3b62c3af15:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_4e3b62c3af15 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} mcontextualbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • найдите mcontextualbot в разделе ботов домена или в /system/bots;
  • поскольку robots.txt здесь официально подтверждённо работает, для большинства сайтов без интереса к контекстной рекламной аналитике достаточно простого Disallow без необходимости в жёсткой серверной блокировке;
  • если сайт монетизируется через программатик-рекламу и заинтересован в контекстном таргетинге — allow может быть осмысленным решением;
  • после изменения сверьте логи: хиты McontextualBot должны уйти в блок, а нужные поисковики остаться.

7. Что делать: короткий алгоритм

  • Сайт не монетизируется через программатик-рекламу — Disallow в robots.txt обычно достаточно, оператор подтверждает его соблюдение;
  • Сайт зарабатывает на рекламе и заинтересован в контекстном таргетинге — рассмотрите allow как осознанное решение;
  • Нагрузка заметна несмотря на Disallow — переходите к серверной блокировке;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит рассмотреть перенос McontextualBot из «Прочие краулеры и сервисы» в «Рекламные и AdTech-боты» — рядом с уже размеченными в базе GroovinaAdsbot и BrandVerity. Оператор сам открыто заявляет рекламную цель обхода, и это не требует предположений или косвенных признаков, в отличие от многих других записей в текущей категории.

Бот / сосед Кластер Комментарий
ContextualBot Прочие краулеры и сервисы (см. отдельную статью) Другая компания (вероятно Mobian) с похожим названием и той же контекстной AdTech-функцией — не путать друг с другом
GroovinaAdsbot Рекламные и AdTech-боты Похожий профиль ad-verification/targeting краулера
BrandVerity Рекламные и AdTech-боты нежелательный, тоже brand safety/ad-verification направление
AudigentAdBot Рекламные и AdTech-боты нежелательный

9. Стратегия allow/deny для McontextualBot

Ситуация Действие
Сайт не монетизируется через программатик-рекламу Disallow в robots.txt — оператор подтверждает соблюдение
Сайт зарабатывает на рекламе, заинтересован в контекстном таргетинге Allow, уточнив у команды монетизации
Нагрузка сохраняется вопреки Disallow Серверная блокировка как следующий шаг
Подозрение на spoofing UA Не полагаться на принадлежность IP AWS/GCP — сверять полную строку UA и характер обхода
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

McontextualBot — это анонимный сборщик данных?
Нет, оператор MContextual сам открыто указывает на своей странице, что бот собирает содержимое сайтов для контекстной рекламы.
Работает ли блокировка через robots.txt против этого бота?
Да, сам оператор подтверждает, что стандартные директивы robots.txt эффективно останавливают обход.
Почему сверка IP-адреса здесь не самый надёжный способ проверки?
Потому что бот работает с общедоступной облачной инфраструктуры AWS и GCP, а не с выделенного корпоративного диапазона.
Есть ли прямая польза для владельца сайта от этого краулера?
Как правило нет, если только сайт сам не монетизируется через контекстную программатик-рекламу и не заинтересован в таком таргетинге.
Это тот же бот, что и ContextualBot?
Нет, это другая компания с похожим названием — не стоит путать McontextualBot (MContextual) и ContextualBot (вероятно Mobian).
Стоит ли пересмотреть категорию этого бота в базе TrafficVeil?
Да, поскольку рекламная цель подтверждена официально, логичнее разместить его среди AdTech-ботов, а не в общей категории «прочие сервисы».
#McontextualBot#MContextual#AdTech-боты#контекстная реклама#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота ContextualBot: нежелательный прочие краулеры и сервисы
Боты·6 мин

ContextualBot: вероятный оператор — Mobian, но без подтверждения

У ContextualBot нет официальной документации, но по совпадению названия и продуктовой линейки наиболее вероятный оператор — AI-платформа Mobian для контекстной безопасности бренда и оптимизации рекламы. Разбираемся, почему неравномерный, скачкообразный паттерн обхода характерен именно для такого типа AdTech-краулера, и когда allow может быть осмысленным решением для сайтов, зарабатывающих на программатик-рекламе.

Читать
Уникальная иллюстрация бота GroovinaAdsbot: нежелательный рекламные и adtech-боты
Боты·6 мин

GroovinaAdsbot: вероятный оператор — Groovinads, но без подтверждения

У GroovinaAdsbot нет открытой документации, но по совпадению названия наиболее вероятный кандидат на роль оператора — AI-платформа Groovinads для управления рекламными кампаниями и программатик-закупки. Разбираемся, как это предположение согласуется с поведением бота в логах и почему отсутствие официальной политики — весомый аргумент за осторожный дефолт, а не выжидательный allow.

Читать
Уникальная иллюстрация бота AdkernelTopicCrawler: нежелательный прочие краулеры и сервисы
Боты·5 мин

AdkernelTopicCrawler: зачем он классифицирует ваш контент и как его блокировать

Разбор краулера AdkernelTopicCrawler от adtech-провайдера Adkernel — как он определяет тематику страниц для контекстной рекламы, кому это выгодно и как настроить allow/deny через robots.txt, сервер или TrafficVeil.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil