Строка mediumbot-metatagfetcher в логах пугает длинным непонятным именем, а иногда — ошибочной привязкой к Meta (Facebook). На самом деле это официальный агент издательской платформы Medium.com, и приходит он не для сбора данных «на будущее», а в момент, когда кто-то на Medium сослался на вашу страницу. Разбираемся, что бот делает на самом деле и почему пометка «нежелательный» здесь ошибочна.
Что такое Mediumbot-MetaTagFetcher на самом деле
Полная строка агента — Mediumbot-MetaTagFetcher/0.3 (+https://medium.com/), и ссылка в ней прямо указывает на оператора: это Medium, а не Meta — совпадение первых букв в названии сбивает с толку, но это разные компании. Задача бота ровно та, что заявлена в имени — забрать meta-теги страницы (title, description, Open Graph-изображение), чтобы Medium мог показать корректный превью-блок или подтянуть данные при импорте статьи с внешнего источника.
| Параметр | Значение |
| Название | Mediumbot-MetaTagFetcher |
| User-Agent / паттерн | mediumbot-metatagfetcher (полная форма: Mediumbot-MetaTagFetcher/0.3 (+https://medium.com/)) |
| Оператор | Medium.com — не Meta/Facebook, несмотря на созвучное начало имени |
| Категория TrafficVeil | Фетчер метаданных для превью-ссылок (не индексирующий краулер) |
| Что делает на сайте | Забирает title, description и OG-изображение конкретной страницы, на которую кто-то сослался на Medium |
| Список IP | ❌ Отдельного публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Как и большинство фетчеров превью-ссылок, инициируется действием человека, поэтому может не следовать общим директивам буквально |
| Пометка TrafficVeil | Легитимный — визит означает, что вашу страницу упомянули на Medium |
Зачем бот приходит на сайт
Триггер — не расписание и не собственная инициатива Medium, а действие конкретного автора: он вставил вашу ссылку в текст статьи, в блок импорта или в другое место, где Medium формирует превью. Бот обращается ровно к этой одной странице, чтобы вытащить мета-теги, — это тот же принцип, что у Slackbot, Twitterbot или facebookexternalhit при генерации карточки ссылки в чужих сервисах, только на стороне Medium.
Почему пометка «нежелательный» здесь ошибочна
Нагрузка от такого фетчера минимальна — один запрос на одну ссылку в момент упоминания, а не системный обход раздела за разделом. Блокировка не защищает от «фонового шума», а лишает вашу страницу нормального превью при цитировании на Medium: вместо привлекательной карточки со заголовком, описанием и картинкой пользователи увидят голую ссылку или ничего.
Как найти Mediumbot-MetaTagFetcher в логах
# Базовый поиск
grep -i "mediumbot-metatagfetcher" /var/log/nginx/access.log
# Какие именно страницы упоминали на Medium
grep -i "mediumbot-metatagfetcher" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "mediumbot-metatagfetcher" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — единичные точечные визиты, привязанные к конкретной странице, характерны именно для такого фетчера, а не для спуфинга:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант — не мешать корректным превью)
User-agent: mediumbot-metatagfetcher
Allow: /
# Закрыть только чувствительные разделы
User-agent: mediumbot-metatagfetcher
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: для этого бота разумный вариант по умолчанию — «легитимный» без rate-limit: нагрузка исчезающе мала, а польза (корректные превью при цитировании на Medium) перевешивает риски. Переключать на «запретить» стоит только если публикации на Medium вам заведомо не нужны и не важны.
С кем можно перепутать Mediumbot-MetaTagFetcher
| Бот | Оператор | Особенность |
| facebookexternalhit | Meta (Facebook) | Реальный бот Meta для превью ссылок в Facebook/Instagram — не путать с Mediumbot несмотря на созвучие в названии оператора |
| Twitterbot | X (Twitter) | Тот же принцип: забирает мета-теги при вставке ссылки в твит |
| Slackbot-LinkExpanding | Slack | Генерирует превью ссылки при вставке в чат Slack |
Что в итоге делать с Mediumbot-MetaTagFetcher
| Ситуация | Действие |
| Стандартный случай | Allow без rate-limit — визитов мало, а превью на Medium полезны |
| Публикации на Medium неактуальны для бизнеса | Disallow / запрет в TrafficVeil — потери минимальны |
| Подозрение на спуфинг (высокая частота, обход многих URL) | Сверять по ASN — настоящий фетчер так себя не ведёт |