Боты6 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

MedialogiaBot: краулер крупнейшей системы медиамониторинга РФ

MedialogiaBot принадлежит не безымянному оператору, а «Медиалогии» — лидеру российского рынка мониторинга СМИ и соцмедиа с продуктом в реестре отечественного ПО. Разбираемся, зачем компании, обрабатывающей 100 млн сообщений в сутки, нужен собственный краулер, и почему для большинства сайтов рекомендация остаётся прежней, несмотря на солидность оператора.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота MedialogiaBot: нежелательный прочие краулеры и сервисы

MedialogiaBot — не безымянный «прочий сервис», а краулер «Медиалогии» (mlg.ru), одной из крупнейших и наиболее узнаваемых российских компаний в сфере мониторинга СМИ и соцмедиа. По собственным данным компании, система обрабатывает 100 млн сообщений в сутки, мониторит более 800 млн источников в соцсетях и 51 тысячу СМИ, а по отзывам клиентов используется в отрасли уже больше десяти лет как фактический стандарт медиааналитики.

1. Что такое MedialogiaBot на самом деле

«Медиалогия» — информационно-аналитическая система для PR- и SMM-специалистов, аналитиков и служб поддержки: отслеживает упоминания брендов, оценивает тональность (с помощью нейросетей и машинного обучения), считает МедиаИндекс — фирменную метрику качественного присутствия объекта в СМИ, и предоставляет более 50 метрик эффективности коммуникаций. Продукт внесён в государственный реестр российского программного обеспечения.

Чтобы построить эту базу данных, системе нужен собственный краулер, который непрерывно обходит СМИ, блоги, форумы и соцсети — MedialogiaBot, судя по всему, и есть этот компонент. Технически система состоит из двух частей: базы данных и «робота-поисковика» с автоматической системой распознавания и анализа контента — именно эта краулинговая часть и оставляет след в access.log сторонних сайтов.

Параметр Значение
Название MedialogiaBot
Оператор «Медиалогия» (mlg.ru) — крупная российская компания, лидер рынка мониторинга СМИ и соцмедиа, продукт в реестре российского ПО
Роль Сбор данных для системы мониторинга упоминаний брендов, анализа тональности и PR/SMM-метрик у клиентов «Медиалогии»
User-Agent / паттерн medialogiabot
Масштаб оператора 100 млн обрабатываемых сообщений в сутки, 800+ млн источников соцмедиа, 51 тыс. СМИ
Более точная категория Мониторинг СМИ/PR-аналитика (в одном ряду с Meltwater, Brandwatch, Awario) — не безликий «прочий сервис» (см. раздел 8)
robots.txt Прямых данных о соблюдении не найдено
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы

2. Зачем MedialogiaBot приходит на сайт

  • сбор публикаций и упоминаний брендов, персон или тем, которые интересуют клиентов «Медиалогии» — компании, PR-агентства, госструктуры;
  • анализ тональности упоминаний и подсчёт МедиаИндекса и других метрик для отчётности клиентов;
  • мониторинг СМИ и соцмедиа в реальном или близком к реальному времени режиме — часть заявленной функциональности сервиса.

Типичный кейс: бот концентрируется на новостных разделах, блоге, разделе «Пресс-центр» или страницах, где упоминаются конкретные бренды/персоны — паттерн, характерный именно для медиамониторинга, а не для общего индексирования сайта целиком.

3. Нагрузка и риски

Прямой пользы для владельца сайта, как правило, нет — собранные данные уходят в коммерческий продукт «Медиалогии», доступный её клиентам по подписке, а не возвращаются самому сайту в виде трафика или атрибуции. В этом смысле категория TrafficVeil «нежелательный» обоснована — та же логика, что и для зарубежных аналогов вроде Meltwater или Brandwatch, уже размеченных в базе как нежелательные AdTech/медиа-мониторинговые боты.

При этом стоит учитывать масштаб оператора: с учётом заявленного объёма обрабатываемых источников (800+ млн) нагрузка от такого краулера на отдельный сайт, скорее всего, пропорциональна интересу к конкретному бренду или теме, а не носит агрессивный характер немотивированного полного обхода.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти MedialogiaBot в логах

# Базовый поиск
grep -i "medialogiabot" /var/log/nginx/access.log

# Топ URL — ожидаемо новостные/пресс-разделы
grep -i "medialogiabot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "medialogiabot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "medialogiabot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка гипотезы: концентрация на новостных/пресс-разделах
grep -i "medialogiabot" /var/log/nginx/access.log | grep -icE "/news/|/press/|/blog/"

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + характерную концентрацию на новостных/пресс-разделах:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для MedialogiaBot

# Жёсткий запрет
User-agent: medialogiabot
Disallow: /

# Разрешить всё
User-agent: medialogiabot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: medialogiabot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "medialogiabot") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_e10122d49d8a_key {
    default "";
    "~*medialogiabot" $binary_remote_addr;
}
limit_req_zone $tv_ng_e10122d49d8a_key zone=tv_ng_e10122d49d8a:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_e10122d49d8a burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} medialogiabot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • найдите medialogiabot в разделе ботов домена или в /system/bots;
  • для сайтов без интереса к PR-присутствию в базах медиамониторинга — Disallow плюс запрет обоснованы;
  • если сайт сам заинтересован в том, чтобы упоминания о нём попадали в отчёты клиентов «Медиалогии» (например, СМИ или новостной ресурс, заинтересованный в цитируемости) — allow может быть осмысленным решением;
  • после изменения сверьте логи: хиты MedialogiaBot должны уйти в блок/лимит, а поисковые роботы остаться без изменений.

7. Что делать: короткий алгоритм

  • Пользы нет — Disallow/403, для большинства сайтов это безопасно и не влияет на позиции в Google/Яндексе;
  • Сайт — СМИ или новостной ресурс, заинтересованный в цитируемости и присутствии в PR-аналитике клиентов «Медиалогии» — allow;
  • Нагрузка от обхода заметна — rate-limit как промежуточный шаг перед полным запретом;
  • Не путайте MedialogiaBot с обычными «прочими» ботами без ясной цели — это крупный, узнаваемый игрок конкретного рынка медиааналитики;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит рассмотреть перенос MedialogiaBot из общей категории «Прочие краулеры и сервисы» в более точную — рядом с зарубежными аналогами вроде Meltwater, Brandwatch и Awario, которые в этой же энциклопедии уже размечены как медиамониторинговые/AdTech-краулеры. Это не меняет итоговую рекомендацию «нежелательный» для большинства сайтов, но точнее описывает природу и масштаб оператора, чем формулировка «оператор не указан публично».

Бот / сосед Кластер Комментарий
Meltwater Рекламные и AdTech-боты / медиамониторинг Зарубежный прямой аналог — та же функция мониторинга СМИ и соцсетей
Brandwatch Рекламные и AdTech-боты / медиамониторинг Зарубежный аналог, тот же тип продукта
AwarioRssBot / AwarioSmartBot AI и LLM-краулеры (в некоторых списках) / медиамониторинг Ещё один международный аналог мониторинга упоминаний бренда
StatOnlineRuBot SEO и backlink-краулеры (см. отдельную статью) Тоже крупный российский оператор (REG.RU) — похожий случай «оператор реален, но польза для сайта не прямая»

9. Стратегия allow/deny для MedialogiaBot

Ситуация Действие
Обычный сайт без интереса к PR-мониторингу Disallow + запрет в TrafficVeil
СМИ или ресурс, заинтересованный в цитируемости у клиентов «Медиалогии» Allow
Нужен доступ, но обход создаёт пики нагрузки Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil, но не критичен Deny по умолчанию — прямой пользы для сайта всё равно нет
Подозрение на подделку UA Не доверять строке UA; смотреть ASN и характер обхода (концентрация на новостных/пресс-разделах)
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

MedialogiaBot — это анонимный сборщик данных?
Нет, оператор — «Медиалогия», крупная российская компания, лидер рынка мониторинга СМИ и соцмедиа, продукт в реестре отечественного ПО.
Зачем «Медиалогии» нужен собственный краулер?
Чтобы собирать публикации и упоминания брендов из СМИ и соцсетей для аналитики тональности и PR-метрик своих клиентов.
Есть ли прямая польза для владельца сайта от этого бота?
Как правило нет — собранные данные уходят в коммерческий продукт для клиентов компании, а не возвращаются сайту в виде трафика.
Чем MedialogiaBot похож на Meltwater или Brandwatch?
Той же функцией — это российский аналог зарубежных систем медиамониторинга, уже размеченных в базе как похожая категория ботов.
Стоит ли блокировать этот бот на новостном сайте?
Не обязательно — если ресурс заинтересован в цитируемости и присутствии в PR-отчётах клиентов «Медиалогии», allow может быть осмысленным решением.
На каких разделах сайта чаще всего фиксируется активность бота?
На новостных и пресс-разделах — паттерн, характерный именно для медиамониторинга, а не общего индексирования сайта.
#MedialogiaBot#Медиалогия#мониторинг СМИ#PR-аналитика#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Иллюстрация бота AccessStatus: проверка аптайма с внешних точек
Боты·6 мин

AccessStatus: вероятно, ваш мониторинг доступности

AccessStatus по независимой классификации — монитор HTTP-статусов той же природы, что UptimeRobot и уже разобранный в этой энциклопедии Chirp, хотя отдельной компании-оператора за ним найти не удалось. Разбираемся, почему сама задача uptime-мониторинга делает маловероятным сценарий постороннего слежения, и что важнее проверить до технической блокировки.

Читать
Иллюстрация бота ActiveComply: сканер соответствия и контента
Боты·6 мин

ActiveComply: возможно, ваш регуляторный мониторинг

ActiveComply — реальная compliance-платформа для банков, кредитных союзов и ипотечных брокеров, и если этот бот заходит на сайт из финансовой отрасли, это почти всегда означает подключённый регуляторный мониторинг WebCompass. Разбираемся, почему первый шаг здесь — не техническая блокировка, а проверка у compliance-отдела, и почему для сайтов вне финансовой ниши логика остаётся прежней.

Читать
Уникальная иллюстрация бота bnf.fr_bot: нежелательный прочие краулеры и сервисы
Боты·7 мин

Bnf.fr_bot: краулер с законодательным мандатом Франции

В отличие от большинства ботов в этой категории, у bnf.fr_bot есть не просто официальный оператор, а закреплённое французским законом право архивировать национальный веб — и библиотека прямо просит не блокировать его. Разбираемся, для каких сайтов это реально имеет значение, почему robots.txt здесь не работает по замыслу, а не по недосмотру, и когда обычная логика «нежелательный, если пользы нет» всё же применима.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil