MedialogiaBot: краулер крупнейшей системы медиамониторинга РФ

MedialogiaBot — не безымянный «прочий сервис», а краулер «Медиалогии» (mlg.ru), одной из крупнейших и наиболее узнаваемых российских компаний в сфере мониторинга СМИ и соцмедиа. По собственным данным компании, система обрабатывает 100 млн сообщений в сутки, мониторит более 800 млн источников в соцсетях и 51 тысячу СМИ, а по отзывам клиентов используется в отрасли уже больше десяти лет как фактический стандарт медиааналитики.

1. Что такое MedialogiaBot на самом деле

«Медиалогия» — информационно-аналитическая система для PR- и SMM-специалистов, аналитиков и служб поддержки: отслеживает упоминания брендов, оценивает тональность (с помощью нейросетей и машинного обучения), считает МедиаИндекс — фирменную метрику качественного присутствия объекта в СМИ, и предоставляет более 50 метрик эффективности коммуникаций. Продукт внесён в государственный реестр российского программного обеспечения.

Чтобы построить эту базу данных, системе нужен собственный краулер, который непрерывно обходит СМИ, блоги, форумы и соцсети — MedialogiaBot, судя по всему, и есть этот компонент. Технически система состоит из двух частей: базы данных и «робота-поисковика» с автоматической системой распознавания и анализа контента — именно эта краулинговая часть и оставляет след в access.log сторонних сайтов.

2. Зачем MedialogiaBot приходит на сайт

• сбор публикаций и упоминаний брендов, персон или тем, которые интересуют клиентов «Медиалогии» — компании, PR-агентства, госструктуры;
• анализ тональности упоминаний и подсчёт МедиаИндекса и других метрик для отчётности клиентов;
• мониторинг СМИ и соцмедиа в реальном или близком к реальному времени режиме — часть заявленной функциональности сервиса.

Типичный кейс: бот концентрируется на новостных разделах, блоге, разделе «Пресс-центр» или страницах, где упоминаются конкретные бренды/персоны — паттерн, характерный именно для медиамониторинга, а не для общего индексирования сайта целиком.

3. Нагрузка и риски

Прямой пользы для владельца сайта, как правило, нет — собранные данные уходят в коммерческий продукт «Медиалогии», доступный её клиентам по подписке, а не возвращаются самому сайту в виде трафика или атрибуции. В этом смысле категория TrafficVeil «нежелательный» обоснована — та же логика, что и для зарубежных аналогов вроде Meltwater или Brandwatch, уже размеченных в базе как нежелательные AdTech/медиа-мониторинговые боты.

При этом стоит учитывать масштаб оператора: с учётом заявленного объёма обрабатываемых источников (800+ млн) нагрузка от такого краулера на отдельный сайт, скорее всего, пропорциональна интересу к конкретному бренду или теме, а не носит агрессивный характер немотивированного полного обхода.

4. Как найти MedialogiaBot в логах

# Базовый поиск
grep -i "medialogiabot" /var/log/nginx/access.log

# Топ URL — ожидаемо новостные/пресс-разделы
grep -i "medialogiabot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "medialogiabot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "medialogiabot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка гипотезы: концентрация на новостных/пресс-разделах
grep -i "medialogiabot" /var/log/nginx/access.log | grep -icE "/news/|/press/|/blog/"

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + характерную концентрацию на новостных/пресс-разделах:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для MedialogiaBot

# Жёсткий запрет
User-agent: medialogiabot
Disallow: /

# Разрешить всё
User-agent: medialogiabot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: medialogiabot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "medialogiabot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=medialogiabot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "medialogiabot") {
        limit_req zone=medialogiabot burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} medialogiabot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите medialogiabot в разделе ботов домена или в /system/bots;
• для сайтов без интереса к PR-присутствию в базах медиамониторинга — Disallow плюс запрет обоснованы;
• если сайт сам заинтересован в том, чтобы упоминания о нём попадали в отчёты клиентов «Медиалогии» (например, СМИ или новостной ресурс, заинтересованный в цитируемости) — allow может быть осмысленным решением;
• после изменения сверьте логи: хиты MedialogiaBot должны уйти в блок/лимит, а поисковые роботы остаться без изменений.

7. Что делать: короткий алгоритм

• Пользы нет — Disallow/403, для большинства сайтов это безопасно и не влияет на позиции в Google/Яндексе;
• Сайт — СМИ или новостной ресурс, заинтересованный в цитируемости и присутствии в PR-аналитике клиентов «Медиалогии» — allow;
• Нагрузка от обхода заметна — rate-limit как промежуточный шаг перед полным запретом;
• Не путайте MedialogiaBot с обычными «прочими» ботами без ясной цели — это крупный, узнаваемый игрок конкретного рынка медиааналитики;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит рассмотреть перенос MedialogiaBot из общей категории «Прочие краулеры и сервисы» в более точную — рядом с зарубежными аналогами вроде Meltwater, Brandwatch и Awario, которые в этой же энциклопедии уже размечены как медиамониторинговые/AdTech-краулеры. Это не меняет итоговую рекомендацию «нежелательный» для большинства сайтов, но точнее описывает природу и масштаб оператора, чем формулировка «оператор не указан публично».

9. Стратегия allow/deny для MedialogiaBot