Sellers.guide в логах — это чек прозрачности вашего ads.txt, а не абстрактный краулер

Паттерн sellers.guide в логах — это не абстрактный «краулер ad-tech экосистемы», а след конкретного сервиса: Sellers.guide, инструмента компании Primis для проверки прозрачности рекламной цепочки поставок. Он сверяет файлы ads.txt и sellers.json издателя, чтобы найти ошибки, неавторизованных посредников и признаки domain spoofing по стандарту IAB Transparent Supply Chain. Это не поисковый Googlebot и не универсальный скрапер.

Параметры

Зачем на самом деле нужен этот инструмент

Sellers.guide построен вокруг одной задачи: автоматически сопоставлять данные из ads.txt издателя с данными sellers.json тех компаний, что в нём перечислены, — и показывать несостыковки. В их собственном описании сервиса это звучит так: «узнайте, кто на самом деле продаёт ваш инвентарь», «очистите строки партнёров, с которыми больше не работаете», «проводите ежеквартальные проверки на отсутствие лазеек». То есть основной адресат пользы — не абстрактная ad-tech индустрия, а сам издатель (publisher), который может использовать этот же инструмент, чтобы самостоятельно проверить собственный ads.txt на ошибки и утечки инвентаря сторонним посредникам.

Почему держать ads.txt и sellers.json открытыми — это не просто вежливость

Официальная позиция Google по своим собственным ads.txt-краулерам подтверждает общий принцип отрасли: эти файлы должны быть доступны любому UA, а хостинг-защита от датацентров не должна их блокировать — иначе покупатели рекламы просто не смогут подтвердить, что вправе покупать ваш инвентарь. Цена ошибки конкретна и измерима: по собственным данным Sellers.guide/Primis, у 6–12% издателей файл ads.txt оказывается недоступен для краулеров, которые его читают. Если DSP или покупатель рекламы не может прочитать ads.txt, он по умолчанию считает инвентарь неавторизованным для непрямой продажи — и просто не покупает его. Это прямая потеря рекламной выручки, а не гипотетический риск.

Нагрузка

По сводке TrafficVeil — порядка 5 тысяч запросов. Учитывая, что цель обхода — точечные файлы (sellers.json, ads.txt), а не весь сайт, такой объём не выглядит избыточным даже при регулярных проверках.

Контроль

grep -i "sellers\.guide" /var/log/nginx/access.log

# sellers.json обычно должен быть публичным для ad-tech
if ($http_user_agent ~* "sellers\.guide") {
    return 403;
}

Стратегия

• Сайт монетизируется через programmatic-рекламу — держите /sellers.json и ads.txt открытыми для любых UA, включая sellers.guide; закрытие этих файлов напрямую снижает рекламный доход
• Хотите сами воспользоваться проверкой прозрачности своей цепочки поставок — не блокируйте sellers.guide, это тот же инструмент, которым вы могли бы пользоваться намеренно
• Заметили агрессивный широкий обход за пределами sellers.json/ads.txt — deny по UA, но с явным исключением для самих файлов прозрачности
• На SEO блокировка не влияет — это не поисковый краулер и не имеет отношения к индексации контента