McontextualBot: оператор сам подтверждает рекламную цель

McontextualBot — редкий случай, когда у краулера есть собственная официальная страница с прямым признанием цели обхода. Оператор — компания MContextual (mcontextual.net), которая сама пишет на своём сайте: бот сканирует сайты в целях контекстной рекламы. Это не предположение по названию, как в некоторых других статьях этой энциклопедии, а прямое заявление оператора.

1. Что такое McontextualBot на самом деле

MContextual — рекламная компания, чей краулер собирает содержимое сайтов для контекстного таргетинга рекламы: определения темы и характера страницы, чтобы затем рекомендовать рекламодателям подходящие площадки для размещения объявлений. Официальная страница оператора прямо подтверждает это назначение и даёт точную строку User-Agent.

Mozilla/5.0 (compatible; McontextualBot/0.1; +http://mcontextual.net/mcontextual-bot)

Там же оператор указывает практическую деталь для верификации: запросы бота идут с адресов AWS и GCP — то есть с облачной инфраструктуры, а не с выделенного корпоративного диапазона. Это значит, что сверка по ASN сама по себе малоинформативна: и легитимный McontextualBot, и потенциальный спуфер могут в равной степени оказаться в облаке одного из этих провайдеров.

2. Зачем McontextualBot приходит на сайт

• оценка тематики и содержания страницы для контекстного размещения рекламы — определяет, подходит ли данная страница для показа объявлений конкретных категорий рекламодателей;
• сбор данных не связан с интересами владельца сайта напрямую: результат используется рекламной платформой MContextual и её клиентами, а не возвращается самому сайту;
• поскольку это intelligence gatherer-тип бота, паттерн обхода может быть неравномерным — активнее там, где размещение рекламы актуально для текущих клиентов оператора.

Типичный кейс: бот проверяет публичные страницы сайта без выраженной концентрации на конкретных технических или служебных разделах — интерес представляет содержательная часть страниц, которая может быть оценена для контекстного таргетинга.

3. Нагрузка и риски

Прямой пользы для владельца сайта, как правило, нет — данные уходят в рекламную инфраструктуру MContextual и используется для решений о размещении чужой рекламы, а не возвращаются сайту в виде трафика или дохода. Показательно, что независимая статистика фиксирует 0% блокировки среди топовых сайтов — большинство владельцев либо не замечают этот трафик, либо не считают его достаточно значимым, чтобы реагировать.

Поскольку инфраструктура бота — общедоступные облачные адреса AWS/GCP, а не выделенный диапазон, IP-адрес сам по себе слабый сигнал для верификации: нужно смотреть именно на полную строку UA и характер обхода, а не полагаться на принадлежность IP крупному облачному провайдеру как на признак легитимности или, наоборот, подозрительности.

4. Как найти McontextualBot в логах

# Базовый поиск
grep -i "mcontextualbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "mcontextualbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — не показатель сам по себе из-за облачной инфраструктуры
grep -i "mcontextualbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "mcontextualbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального публикуемого списка конкретных IP нет — только общее указание на AWS/GCP, поэтому сверка по принадлежности облаку малоинформативна. Для решения allow/deny смотрите полную строку UA (включая версию и ссылку на mcontextual.net) в связке с характером обхода:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для McontextualBot

# Жёсткий запрет — официально подтверждённый оператором рабочий способ
User-agent: McontextualBot
Disallow: /

# Разрешить всё
User-agent: McontextualBot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: McontextualBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

В отличие от многих других записей энциклопедии, здесь блокировка через robots.txt — не просто пожелание, а официально подтверждённый самим оператором рабочий метод.

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "mcontextualbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=mcontextualbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "mcontextualbot") {
        limit_req zone=mcontextualbot burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} mcontextualbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите mcontextualbot в разделе ботов домена или в /system/bots;
• поскольку robots.txt здесь официально подтверждённо работает, для большинства сайтов без интереса к контекстной рекламной аналитике достаточно простого Disallow без необходимости в жёсткой серверной блокировке;
• если сайт монетизируется через программатик-рекламу и заинтересован в контекстном таргетинге — allow может быть осмысленным решением;
• после изменения сверьте логи: хиты McontextualBot должны уйти в блок, а нужные поисковики остаться.

7. Что делать: короткий алгоритм

• Сайт не монетизируется через программатик-рекламу — Disallow в robots.txt обычно достаточно, оператор подтверждает его соблюдение;
• Сайт зарабатывает на рекламе и заинтересован в контекстном таргетинге — рассмотрите allow как осознанное решение;
• Нагрузка заметна несмотря на Disallow — переходите к серверной блокировке;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит рассмотреть перенос McontextualBot из «Прочие краулеры и сервисы» в «Рекламные и AdTech-боты» — рядом с уже размеченными в базе GroovinaAdsbot и BrandVerity. Оператор сам открыто заявляет рекламную цель обхода, и это не требует предположений или косвенных признаков, в отличие от многих других записей в текущей категории.

9. Стратегия allow/deny для McontextualBot