Msnbot: почему устаревший краулер Microsoft в логах 2026 года — почти всегда подделка

Если в 2026 году в логах внезапно появляется msnbot — это почти наверняка не привет из Microsoft, а чужой скрипт, который выдаёт себя за давно списанного робота. Официально Microsoft отправила msnbot на пенсию ещё в октябре 2010 года, заменив его на bingbot, и с тех пор легитимного трафика от него ждать не стоит — но само имя осталось популярным прикрытием для маскировки под «поисковика» у ботов, которым нужно тихо обойти защиту сайта.

Откуда взялся msnbot

msnbot — краулер, который Microsoft развернула для построения поискового индекса MSN Search: он вышел в бета-версии в 2004 году и получил полноценный публичный релиз в 2005-м. Типичная строка идентификации выглядела как msnbot/1.1 (+http://search.msn.com/msnbot.htm), а в паре с ним работал отдельный агент msnbot-media для индексации изображений и медиафайлов. С запуском Bing как отдельного бренда поиска Microsoft заменила основной краулер на bingbot, официально завершив активное использование msnbot для большинства задач индексации в октябре 2010 года. Из этого следует практический вывод для 2026 года: строить актуальную политику допуска стоит вокруг bingbot, а любой свежий трафик с UA msnbot по умолчанию рассматривать как подозрительный.

Параметры бота

Почему нельзя просто доверять строке UA

Ещё в официальном блоге Live Search в 2006 году сама Microsoft предупреждала: назваться «MSNBot» в User-Agent может кто угодно, и единственный надёжный способ отличить настоящего краулера от самозванца — проверка происхождения запроса, а не текста заголовка. Классический метод — двойная DNS-проверка: сначала обратный запрос (reverse DNS) по IP-адресу запроса, который должен вернуть хост с окончанием search.msn.com, а затем прямой запрос (forward DNS) по этому имени — результат должен совпасть с исходным IP. Если хотя бы один из этапов не сходится, перед вами не робот Microsoft, а маскировка.

Любопытная деталь, которая может сбить с толку при проверке: даже актуальные IP-адреса bingbot при обратном DNS-запросе по-прежнему резолвятся в имена с окончанием search.msn.com — это унаследованное с эпохи msnbot соглашение об именовании внутри инфраструктуры Microsoft. Поэтому сам по себе домен в rDNS не говорит о том, что перед вами именно легаси-бот, а не современный bingbot.

Как найти бота в логах

grep -i "msnbot" /var/log/nginx/access.log

Если строка появилась, следующий шаг — не блокировка по умолчанию, а быстрая проверка IP через официальный инструмент верификации Bing либо ручной reverse/forward DNS lookup, как описано выше. Для актуального трафика Bing в целом действует то же правило: Microsoft отдельно публикует список подтверждённых диапазонов IP-адресов bingbot, и сверка с ним — самый надёжный метод отличить настоящего краулера Bing от подделки под любым именем, старым или новым.

Как заблокировать

Поскольку легитимного современного трафика с этим токеном ожидать не приходится, разумная политика по умолчанию — блокировать msnbot без верификации Microsoft:

if ($http_user_agent ~* "msnbot") {
    return 403;
}

Дублирующее правило в robots.txt — скорее формальность, поскольку самозванцы, ради которых и вводится это правило, обычно robots.txt не соблюдают, но оно не будет лишним как явное заявление политики сайта:

User-agent: msnbot
Disallow: /

Для актуальной видимости сайта в Bing это решение никак не вредит: политику допуска для реальной индексации нужно строить исключительно вокруг токена bingbot и, при необходимости, верифицировать спорные запросы через официальный инструмент Bing Webmaster Tools, а не через устаревшее имя, которое давно стало приманкой для чужих ботов.