YandexFavicons: узкий бот с одной задачей — и почему он может игнорировать ваше общее правило для ботов

У Яндекса не один краулер, а целое семейство узкоспециализированных ботов под общим брендом — помимо основного YandexBot, отдельно работают YandexImages, YandexNews, YandexMarket, YaDirectFetcher (и даже YandexAccessibilityBot для оценки доступности сайтов). YandexFavicons — ещё один член этого семейства с единственной задачей: скачать иконку сайта, чтобы показать её рядом со сниппетом в поисковой выдаче. Никакого отношения к индексации текста страниц или ранжированию этот бот не имеет.

Зачем нужен отдельный бот только для иконки

Favicon — маленький визуальный элемент, но в поисковой выдаче он выполняет важную функцию узнаваемости бренда: пользователь, привыкший к логотипу сайта, быстрее находит знакомый результат среди прочих ссылок. Чтобы эта иконка отображалась корректно и не устаревала, Яндексу нужен отдельный, лёгкий механизм её обновления — не завязанный на полноценный обход контента страницы основным YandexBot. Обход инициируется, когда Яндекс обнаруживает новый сайт, замечает изменение favicon или в целом обновляет визуальные элементы для актуального отображения сайта в своих интерфейсах. Запросы при этом предельно точечные — обращение к favicon.ico, apple-touch-icon или ссылке из <link rel="icon"> в разметке, а не обход всего сайта.

Параметры бота

Почему нельзя просто довериться общему правилу для Яндекса

Ключевая практическая особенность именно этой группы вспомогательных ботов Яндекса (не только Favicons, но и, например, YandexAccessibilityBot) — то, что они официально могут игнорировать общую директиву User-agent: * в robots.txt. Логика та же, что и у special-case краулеров Google из этой серии: цель — не дать администратору случайно заблокировать вспомогательную, полезную для отображения сайта функцию общим правилом, написанным совсем для других задач. Если нужно осознанно ограничить именно эту функцию, правило стоит прописывать по конкретному токену YandexFavicons, а не рассчитывать, что общий блок для ботов его тоже остановит.

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов yandexfavicons на подключённых доменах составил порядка 18 тысяч за март–июнь 2026 года (июнь — по 14 число). Учитывая точечный характер запросов (обычно один-два файла на сайт, обновляемых при обнаружении изменений), это стабильный, предсказуемый и не создающий заметной нагрузки объём.

Как найти бота в логах и проверить подлинность

grep -i "YandexFavicons" /var/log/nginx/access.log

host <IP>
# ожидаемый результат — хост вида *.yandex.ru, *.yandex.net или *.yandex.com,
# затем forward DNS по этому имени должен вернуть тот же исходный IP

Одного совпадения строки User-Agent недостаточно для подтверждения подлинности — подделки под известные имена поисковых ботов встречаются часто, и полагаться стоит именно на связку обратного и прямого DNS-запроса, а не на текст заголовка.

Стоит ли блокировать

Практически для любого сайта, которому важна выдача Яндекса, ответ — нет:

• без успешной загрузки favicon сайт может отображаться в результатах поиска Яндекса без брендовой иконки — незначительная на первый взгляд, но реальная потеря узнаваемости среди конкурирующих сниппетов;
• жёсткий запрет именно этого бота не затрагивает весь индекс текстов сайта — за это отвечает отдельный основной YandexBot, — но может стоить потери иконки в выдаче;
• если сайт вообще не ориентирован на аудиторию Яндекса, а любой лишний бот-трафик нежелателен — блокировка возможна осознанно, но эффект будет узким и косметическим, а не критичным.

Как настроить robots.txt и сервер

Явный запрет для конкретного токена (с учётом того, что часть ботов Яндекса игнорирует общие правила, а не только адресные):

User-agent: YandexFavicons
Disallow: /

Поскольку Яндекс официально указывает, что этот бот может не учитывать общие правила *, для гарантированного результата запрет стоит дублировать на уровне сервера:

if ($http_user_agent ~* "YandexFavicons") {
    return 403;
}

Практическая рекомендация для большинства сайтов иная — не блокировать, а наоборот, обеспечить быструю и стабильную отдачу favicon (код ответа 200, разумное кеширование), чтобы иконка в выдаче Яндекса обновлялась без задержек и сбоев. Не стоит банить весь трафик Яндекса по ASN, если важны видимость в поиске или реклама через Яндекс Директ, — эти ASN используются общей инфраструктурой компании, а не только вспомогательными фетчерами вроде Favicons.