ГлавнаяБлогYandex боты
Yandex боты5 мин чтения·11 августа 2026 г.

YandexMobileBot: почему общие правила robots.txt на него не действуют

Разбор YandexMobileBot — робота Яндекса для оценки мобильной вёрстки. Почему он игнорирует общие директивы robots.txt, как его верифицировать по rDNS и ASN и как настроить точечный контроль без риска для мобильной выдачи.

TVTrafficVeil TeamЭксперты по защите веб-трафика
Уникальная иллюстрация бота YandexMobileBot: нежелательный поисковые роботы

YandexMobileBot — робот Яндекса, который определяет, подходит ли вёрстка страницы для мобильных устройств. Это не основной YandexBot, а узкоспециализированный робот: он важен для мобильной выдачи, и если закрыть CSS/JS, нужные для mobile layout, страницы могут отображаться в поиске Яндекса некорректно. Ключевая особенность, которую легко упустить: общие правила robots.txt — как User-agent: *, так и часть правил, написанных просто под User-agent: Yandex — YandexMobileBot не учитывает. Он интерпретирует robots.txt особым образом, и для контроля нужен именно точный токен YandexMobileBot.

Параметры

Параметр Значение
UA токен YandexMobileBot
Пример UA Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)
Назначение Оценка mobile-friendly вёрстки страницы для мобильной выдачи Яндекса
Общие правила robots.txt No — нужен точный User-agent: YandexMobileBot, общие директивы (в т.ч. часть правил для User-agent: Yandex) не действуют
Верификация rDNS *.yandex.ru / *.yandex.net / *.yandex.com + forward DNS; дополнительно — принадлежность к автономным системам AS13238, AS208722, AS212066
Docs Яндекс.Вебмастер: «Как проверить, что робот принадлежит Яндексу», «Сайты для мобильных устройств»

Почему YandexMobileBot особый среди роботов Яндекса

По официальному списку Яндекса, «особую» интерпретацию robots.txt применяет не только YandexMobileBot — рядом в том же перечне числятся YandexDirectDyn (генерация динамических баннеров) и YandexScreenshotBot (снимок страницы). Это не единичное исключение, а отдельная категория узкоспециализированных роботов, для которых общие директивы сайта могут не сработать так, как ожидает вебмастер. Практический смысл для мобильной выдачи: если CSS и JavaScript, отвечающие за адаптивную вёрстку, закрыты общим правилом (например, Disallow: /assets/ под User-agent: *), YandexMobileBot всё равно попробует их скачать по своей отдельной логике — но лучше не полагаться на это неявно, а явно прописать доступ именно для его токена.

Нагрузка

По сводке TrafficVeil — порядка 119 тысяч запросов за период март–июнь 2026 (июнь — по 14.06). Для сайтов с русскоязычной аудиторией такой объём обычно не повод для бана — робот работает в интересах самого сайта, улучшая его позиции в мобильной выдаче.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

Как найти YandexMobileBot в логах

grep -i "YandexMobileBot" /var/log/nginx/access.log

Верификация

host <IP>  # ожидаем имя, оканчивающееся на yandex.ru / yandex.net / yandex.com

Официальный список IP Яндекс не публикует, поскольку адреса часто меняются. Помимо reverse DNS с forward-подтверждением, дополнительный ориентир — принадлежность IP к одной из автономных систем Яндекса: AS13238, AS208722, AS212066. Если хост не резолвится в yandex.ru/net/com и не принадлежит этим ASN — перед вами, скорее всего, подделка UA.

robots.txt

# Точечный контроль — общие директивы * могут не действовать
User-agent: YandexMobileBot
Disallow: /private/

# Не закрывайте CSS/JS, нужные для мобильной вёрстки,
# если хотите корректный вид сайта в мобильной выдаче

Официальная рекомендация Яндекс.Вебмастера звучит прямо: файл robots.txt должен разрешать сканирование CSS и JavaScript, отвечающих за отображение сайта на мобильных устройствах, иначе страницы могут отображаться в поисковой выдаче некорректно.

Как проверить результат

После настройки доступа не обязательно гадать, помогло ли это. В Яндекс.Вебмастере на странице «Оптимизация сайта → Диагностика сайта» появляются рекомендации по мобильной адаптации конкретно для вашего домена — там же видно, распознаёт ли Яндекс страницу как мобильно-дружественную после проверки роботом.

TrafficVeil

  • На сайтах с аудиторией из Яндекса — обычно разрешать без ограничений
  • Не смешивайте с баном всего «Yandex» в UA общим правилом — это может случайно задеть основной YandexBot и другие полезные роботы поиска
  • Спуф без rDNS в yandex.ru/net/com и вне указанных ASN — блокировать

Стратегия

Цель Действие
Мобильная выдача Яндекса Allow; открыть CSS/JS, нужные для mobile layout
Скрыть конкретный раздел от индексации Disallow именно для YandexMobileBot, а не общим правилом
Подозрение на спуфинг UA rDNS-проверка + сверка ASN (AS13238, AS208722, AS212066)

С кем не путать YandexMobileBot

Бот Оператор Отличие от YandexMobileBot
YandexBot Яндекс Основной индексирующий робот — учитывает общие правила robots.txt, в отличие от YandexMobileBot
YandexRenderResourcesBot Яндекс Скачивает и рендерит ресурсы страницы (CSS, JS) для построения визуального представления — смежная, но отдельная задача от оценки mobile-friendly вёрстки
YandexScreenshotBot Яндекс Делает снимок страницы, также особым образом интерпретирует robots.txt, но не связан с мобильной адаптацией

Частые вопросы

Что такое YandexMobileBot и зачем он нужен?
Это робот Яндекса, который оценивает, подходит ли вёрстка страницы для мобильных устройств, и влияет на позиции сайта в мобильной выдаче.
Учитывает ли YandexMobileBot общие правила robots.txt?
Нет, даже часть правил, написанных под User-agent: Yandex, на него не распространяется — нужен точный токен YandexMobileBot.
Что будет, если закрыть CSS/JS от YandexMobileBot?
Страница может отображаться в мобильной выдаче Яндекса некорректно, поскольку робот не сможет оценить адаптивность вёрстки.
Как проверить, что запрос действительно от YandexMobileBot?
Через reverse DNS с forward-подтверждением (имя должно оканчиваться на yandex.ru/net/com) и проверку принадлежности IP к ASN 13238, 208722 или 212066.
Нужно ли блокировать YandexMobileBot на сайтах с русскоязычной аудиторией?
Как правило нет, робот работает в интересах самого сайта и обычно не банится на таких проектах.
Чем YandexMobileBot отличается от YandexRenderResourcesBot?
YandexMobileBot оценивает мобильную адаптивность вёрстки, а YandexRenderResourcesBot скачивает и рендерит CSS/JS-ресурсы для построения визуального представления страницы — задачи смежные, но разные.
#YandexMobileBot#Яндекс#мобильная выдача#robots.txt#verification#TrafficVeil#краулеры
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.

Похожие статьи

Ещё материалы из раздела «Yandex боты» — те же вопросы, другие агенты.

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Тарифа на трафик нет. Платите за людей, а не за тех, кого отбили: боты, атаки и всё, что срезали фильтры, в счёт не идут. Тариф — число доменов и глубина настроек.

TrafficVeil