Mediumbot-MetaTagFetcher: бот Medium, а не Meta

Строка mediumbot-metatagfetcher в логах пугает длинным непонятным именем, а иногда — ошибочной привязкой к Meta (Facebook). На самом деле это официальный агент издательской платформы Medium.com, и приходит он не для сбора данных «на будущее», а в момент, когда кто-то на Medium сослался на вашу страницу. Разбираемся, что бот делает на самом деле и почему пометка «нежелательный» здесь ошибочна.

Что такое Mediumbot-MetaTagFetcher на самом деле

Полная строка агента — Mediumbot-MetaTagFetcher/0.3 (+https://medium.com/), и ссылка в ней прямо указывает на оператора: это Medium, а не Meta — совпадение первых букв в названии сбивает с толку, но это разные компании. Задача бота ровно та, что заявлена в имени — забрать meta-теги страницы (title, description, Open Graph-изображение), чтобы Medium мог показать корректный превью-блок или подтянуть данные при импорте статьи с внешнего источника.

Зачем бот приходит на сайт

Триггер — не расписание и не собственная инициатива Medium, а действие конкретного автора: он вставил вашу ссылку в текст статьи, в блок импорта или в другое место, где Medium формирует превью. Бот обращается ровно к этой одной странице, чтобы вытащить мета-теги, — это тот же принцип, что у Slackbot, Twitterbot или facebookexternalhit при генерации карточки ссылки в чужих сервисах, только на стороне Medium.

Почему пометка «нежелательный» здесь ошибочна

Нагрузка от такого фетчера минимальна — один запрос на одну ссылку в момент упоминания, а не системный обход раздела за разделом. Блокировка не защищает от «фонового шума», а лишает вашу страницу нормального превью при цитировании на Medium: вместо привлекательной карточки со заголовком, описанием и картинкой пользователи увидят голую ссылку или ничего.

Как найти Mediumbot-MetaTagFetcher в логах

# Базовый поиск
grep -i "mediumbot-metatagfetcher" /var/log/nginx/access.log

# Какие именно страницы упоминали на Medium
grep -i "mediumbot-metatagfetcher" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "mediumbot-metatagfetcher" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверяйте IP через ASN — единичные точечные визиты, привязанные к конкретной странице, характерны именно для такого фетчера, а не для спуфинга:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (стандартный вариант — не мешать корректным превью)
User-agent: mediumbot-metatagfetcher
Allow: /

# Закрыть только чувствительные разделы
User-agent: mediumbot-metatagfetcher
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: для этого бота разумный вариант по умолчанию — «легитимный» без rate-limit: нагрузка исчезающе мала, а польза (корректные превью при цитировании на Medium) перевешивает риски. Переключать на «запретить» стоит только если публикации на Medium вам заведомо не нужны и не важны.

С кем можно перепутать Mediumbot-MetaTagFetcher

Что в итоге делать с Mediumbot-MetaTagFetcher