Заголовок: «Дятлы» Яндекса: целое семейство ботов, игнорирующих robots.txt

YaDirectFetcher (в UA часто с пометкой Dyatel) — робот Яндекс Директа: скачивает посадочные страницы объявлений, чтобы проверить доступность и уточнить тематику. Нужен для размещения рекламы в поиске и на площадках РСЯ. Это не YandexBot поиска.

Параметры

Что означает пометка «Dyatel» и почему это целое семейство

Dyatel в строке UA — не случайное слово, а маркер отдельной категории роботов Яндекса, которую в русскоязычной документации называют «простукивалками»: их задача — не индексировать контент, а быстро проверить, доступна ли конкретная страница прямо сейчас. Название отсылает к дятлу, «простукивающему» дерево — по аналогии с быстрой точечной проверкой одной страницы. К этому же семейству относится, например, YandexSitelinks — робот, который проверяет доступность страниц, уже определившихся как быстрые ссылки в выдаче. Как и YaDirectFetcher, он тоже игнорирует robots.txt: если страница перестаёт открываться, соответствующая ссылка должна быстро пропасть из выдачи, а ждать реакции на изменения в файле директив для этой задачи неприемлемо.

Почему это критично для рекламодателей

Если бот не может открыть лендинг (403/challenge/капча для всех «ботов» подряд), Директ может не подтвердить доступность или тематику страницы — страдают модерация и показ объявлений. Для сайтов с рекламой в Яндексе политика по умолчанию: Allow и не резать по одному совпадению UA без проверки rDNS. Не путать с AdsBot-Google и с YandexBot. Блокировка YaDirectFetcher не «улучшает SEO» и не заменяет защиту от скликивания — это два независимых вопроса.

Нагрузка

По сводке TrafficVeil паттерн yadirectfetcher — порядка 18 тысяч запросов (март–июнь 2026, июнь по 14.06). Обычно точечные хиты по URL из объявлений, не полный сайт-скрап.

Логи и IP

grep -iE "YaDirectFetcher|Dyatel" /var/log/nginx/access.log
host    # *.yandex.ru|net|com

Список IP Яндекс не публикует (AS13238 / AS208722 / AS212066 и др.). Фильтр по неудачному reverse DNS безопаснее слепого deny всех Yandex*.

robots.txt — не сработает

# Официально бот игнорирует robots.txt:
User-agent: YaDirectFetcher
Disallow: /

Единственный реальный контроль — сервер / WAF / TrafficVeil. Для рекламодателей контролировать обычно не нужно — сама природа этого робота не нацелена на широкий обход, а только на точечную проверку конкретных URL из объявлений.

Nginx / TrafficVeil

if ($http_user_agent ~* "YaDirectFetcher") {
    return 403;
}

• Есть кампании в Директе — не блокируйте настоящий YaDirectFetcher
• Подозрение на подделку — режьте по провалу rDNS, не по подстроке Yandex вслепую
• На органический поиск это не влияет и не заменяет YandexBot — разные задачи, разная логика

Стратегия