Почему YandexMarket/2.0 «глухой» к общим правилам robots.txt

YandexMarket — робот экосистемы Яндекс Маркета. Ходит за товарными/каталожными данными, а не за общей поисковой индексацией сайта (это задача YandexBot).

Параметры

Почему версия 2.0 не слушает общие правила — это не баг, а системный подход Яндекса

Официальная документация Яндекса прямо объясняет логику: часть роботов загружает документы не для целей поисковой индексации, а для решения других сервисных задач — и чтобы вебмастера случайно не заблокировали их вместе с основным индексирующим ботом через общее правило User-agent: * (или даже через общее User-agent: Yandex), такие роботы сознательно игнорируют общие директивы. Управлять ими можно только через точный токен в отдельной секции robots.txt. Это не единичный случай именно YandexMarket/2.0 — Яндекс приводит в пример точно такую же логику для YandexCalendar и YandexMobileBot: для обоих общие правила не действуют, нужен явный токен. YandexMarket/2.0 и родственный YandexSearchShop вписываются в ту же системную категорию специализированных роботов.

Нагрузка

По сводке TrafficVeil паттерн yandexmarket — порядка 6 тысяч запросов.

Контроль

grep -i "YandexMarket" /var/log/nginx/access.log

User-agent: YandexMarket
Disallow: /
# Для v2 общие/даже точечные правила могут не сработать — сервер

Рекомендации

• Работаете с Маркетом — Allow, отдавайте фиды/карточки без challenge
• Нет Маркета — можно deny, но проверяйте, не ломаете ли смежные сценарии (например, YandexSearchShop, который тоже требует точного токена)
• Не режьте весь Яндекс одним правилом — риск случайно задеть основной индексирующий YandexBot вместе со специализированными роботами