Adagiobot: не «прочий нежелательный», а ad-tech краулер для оптимизации programmatic-рекламы

Открытые каталоги ботов дают Adagiobot куда более конкретное описание, чем «сканер для анализа контента, ссылок или технических параметров» из общего шаблона: это краулер, специализирующийся на оптимизации рекламного спроса (ad demand optimization) — он анализирует сайты, чтобы помочь издателям увеличивать доход от рекламы через анализ real-time bidding и оценку эффективности показов. По сути, это представитель той же большой категории ad-tech-краулеров, что и AdsTxtCrawler из этой серии, но с собственной, более узкой специализацией.

Чем именно занимается бот

По описанию из независимых каталогов краулеров, Adagiobot запрашивает файлы /ads.txt, /app-ads.txt и /sellers.json — то есть выполняет ту же базовую проверку цепочки поставок рекламного инвентаря по спецификации IAB (Supply Chain Validation), что и специализированные AdsTxtCrawler-подобные боты. Но задача у него шире одной лишь проверки авторизованных продавцов: бот также анализирует сайт целиком в контексте real-time bidding — то есть аукциона программатик-рекламы, который происходит в момент загрузки страницы, — чтобы дать издателям и рекламным платформам данные для оптимизации эффективности показов и, соответственно, дохода от рекламы.

Параметры бота

Почему это меняет практическую оценку по сравнению с шаблоном «прочие нежелательные»

Если Adagiobot действительно запрашивает именно /ads.txt, /app-ads.txt и /sellers.json — те же публичные файлы, что задуманы специально для чтения автоматизированными системами programmatic-рекламы, — логика оценки этого бота ближе к семейству AdsTxtCrawler, чем к типичному «прочему» краулеру без ясной цели. Как и в случае с AdsTxtCrawler, для сайта, зарабатывающего на programmatic-рекламе, огульная блокировка «просто потому что бот» контрпродуктивна: эти файлы специально спроектированы как открытые именно для того, чтобы их читали автоматизированные системы со стороны байеров и рекламных платформ, а участие в подобном анализе может напрямую влиять на эффективность и доход от показов рекламы на сайте.

При этом стоит проверить фактическое поведение конкретно в своих логах: если помимо запросов к файлам авторизации бот также заметно обходит остальной контент сайта сверх этого набора, это уже выходит за рамки типичной задачи ad-tech-анализа и заслуживает отдельной, более осторожной оценки.

Как найти бота в логах

# Базовый поиск
grep -i "adagiobot" /var/log/nginx/access.log

# Отдельно — обращения именно к файлам рекламной авторизации
grep -E '"GET /(ads\.txt|app-ads\.txt|sellers\.json)' /var/log/nginx/access.log | grep -i adagiobot

# Топ URL, которые вычитывает бот в целом
grep -i "adagiobot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Если в выдаче видны в основном запросы к перечисленным файлам рекламной цепочки поставок — это соответствует заявленному назначению бота; заметный более широкий обход остального сайта — повод пересмотреть первоначальную оценку и свериться с ASN IP через whois.

Стоит ли блокировать

Решение стоит принимать по тому же принципу, что и для семейства AdsTxtCrawler:

• если сайт монетизируется через programmatic-рекламу — не блокировать чтение /ads.txt, /app-ads.txt и /sellers.json без веской причины, так как это может затронуть оптимизацию эффективности рекламных показов;
• если реклама на сайте не продаётся или монетизация не связана с programmatic-каналами — блокировка не несёт практических потерь;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет напрямую.

Как настроить robots.txt и сервер

Явное разрешение для сайтов, зарабатывающих на programmatic-рекламе:

User-agent: adagiobot
Allow: /

Полный запрет, если монетизация через programmatic-рекламу не актуальна для сайта:

User-agent: adagiobot
Disallow: /

if ($http_user_agent ~* "adagiobot") {
    return 403;
}

Если бот подтверждённо выходит за рамки чтения файлов авторизации и создаёт заметную дополнительную нагрузку широким обходом, разумная промежуточная мера — ограничение частоты вместо полной блокировки:

limit_req_zone $binary_remote_addr zone=adagiobot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "adagiobot") {
        limit_req zone=adagiobot burst=20 nodelay;
    }
}