MetaTagBot: почему связь с корпорацией Meta, скорее всего, ошибочна

Прежде чем принимать за факт связь MetaTagBot с компанией Meta (Facebook, Instagram, WhatsApp), стоит свериться со списком: у Meta есть чётко задокументированный набор собственных краулеров — FacebookBot, facebookexternalhit, Meta-ExternalAgent, Meta-ExternalFetcher, meta-webindexer, Meta-ExternalAds, — и ни в одном официальном или независимом каталоге ботов имя MetaTagBot среди них не встречается. Судя по всему, совпадение — чисто лексическое: слово «meta» в этом имени с высокой вероятностью относится к HTML meta-тегам (title, description, Open Graph и подобным), а не к корпорации Meta Platforms.

Что вероятнее стоит за именем

Инструментов, которые в названии сочетают «meta» и «tag», в SEO- и QA-индустрии множество — от простых скриптов, проверяющих корректность заполнения метатегов на страницах, до сервисов аудита технического SEO, которые сканируют сайт и проверяют, заполнены ли title, description и og-теги на каждой странице. Такое совпадение имени с брендом Meta вводит в заблуждение ровно так же, как в своё время путали пользователей msnbot и bingbot или Vidnami AI и другие узнаваемые, но не всегда точно атрибутируемые имена из этой серии — совпадение звучания не означает совпадения оператора.

Параметры

Почему это важно для решения allow/deny

Ошибочная атрибуция оператору вроде Meta задаёт неверную рамку для оценки: администратор может решить разрешить бота «на всякий случай», полагая, что видимость для гигантской экосистемы Facebook/Instagram того стоит, — хотя в реальности за именем, вероятно, стоит куда более скромный и менее прозрачный сторонний инструмент, чья польза для владельца сайта не установлена. Верное решение в такой ситуации — оценивать бота не по звучности предполагаемого бренда, а по фактическому поведению в собственных логах: какие URL запрашиваются, насколько глубок обход, повторяется ли паттерн.

Как найти бота в логах

# Базовый поиск
grep -i "metatagbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "metatagbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Если запросы концентрируются на страницах с заведомо интересными для SEO-аудита метаданными или идут по всему сайту равномерно вне зависимости от типа контента — это больше похоже на техническую проверку метатегов, чем на что-либо, связанное с социальными продуктами Meta (у которых, для сравнения, запросы обычно триггерятся конкретным действием пользователя — публикацией ссылки).

Как заблокировать

При отсутствии подтверждённого оператора и понятной пользы для сайта — запрет по умолчанию:

User-agent: metatagbot
Disallow: /

if ($http_user_agent ~* "metatagbot") {
    return 403;
}

Поскольку строка User-Agent в принципе может быть подделана любым скриптом, а официального фида адресов нет, для проверки подлинности при аномальной активности стоит свериться с ASN конкретных IP через whois:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

На позиции в поисковой выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет. И, что стоит подчеркнуть отдельно: блокировка MetaTagBot не отразится на видимости сайта в продуктах Meta — потому что, судя по всему, эти два имени вообще не связаны между собой.