Если фильтровать access.log по audigentadbot, часто всплывает целый пласт машинных хитов — это и есть AudigentAdBot, один из двух краулеров рекламного сервиса Audigent. AudigentAdBot собирает метаданные из заголовка (<head>) HTML-страниц — заголовок, description, OpenGraph-теги и подобные технические данные. Тело страницы бот не сканирует вообще: это намеренно лёгкий, узкоспециализированный инструмент, заточенный исключительно под рекламные задачи Audigent и его партнёров-рекламодателей. Оператор: Audigent — сервис активации и курации данных для рекламы (публичная документация: audigent.com/bot.html). Классификация: в базе TrafficVeil — Рекламные и AdTech-боты; решение allow/deny зависит от того, участвует ли сайт в рекламной цепочке Audigent.
Что такое AudigentAdBot
| Параметр | Значение |
|---|---|
| Название | AudigentAdBot |
| User-Agent / паттерн | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; AudigentAdBot; +https://audigent.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 |
| Оператор | Audigent — сервис активации и курации данных для рекламы |
| Роль | Собирает только метаданные из <head> страницы для подбора релевантной рекламы и оценки инвентаря |
| Документация / ориентир | Официальная страница audigent.com/bot.html — редкий случай, когда adtech-бот открыто документирован оператором |
| Список IP | ❌ Отдельного списка IP Audigent не публикует; ориентир — точное совпадение UA-строки с официальным образцом |
| robots.txt | Соблюдает, но только явное правило по имени бота — общий wildcard его не блокирует (см. ниже) |
| Пометка TrafficVeil | Рекламные и AdTech-боты, условно нежелательный вне рекламной цепочки Audigent |
Зачем AudigentAdBot приходит на сайт
Audigent прямо заявляет: краулинг ведётся только на сайтах, где сам сервис или его партнёры-рекламодатели потенциально размещают рекламу — то есть визиты не случайны, а привязаны к конкретной рекламной активности вокруг вашего домена.
- Какие зоны чаще трогает: посадочные страницы, /lp/, страницы с UTM-метками, advertorial-контент
- Что ищет: метаданные заголовка страницы — для оценки контекста и релевантности рекламного инвентаря
- Чем отличается от браузерного пользователя: нет полноценной сессии, регулярные повторные визиты на одни и те же посадочные URL
Типичный кейс: в логах видно AudigentAdBot на конкретных лендингах с рекламным трафиком, без конверсий и без обращения к телу страницы — только к заголовочным метаданным.
AudigentAdBot и AudigentBot — не путать
У Audigent два разных бота, и в старых материалах их часто путают:
| Бот | Что сканирует | Блокируется через User-agent: *? |
|---|---|---|
| AudigentAdBot | Только метаданные <head>, тело страницы не трогает | Нет — нужно явное правило с именем бота |
| AudigentBot | Весь контент страницы, включая body | Да, блокируется общим wildcard-правилом |
Это ключевой практический момент: если вы заблокировали ботов правилом User-agent: * и рассчитывали закрыть заодно и AudigentAdBot — этого не произошло, он продолжит ходить, пока не пропишете его явно.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Нагрузка и риски
Отдельной строки в публичной сводке top-bot TrafficVeil у audigentadbot может не быть, но в категории «Рекламные и AdTech-боты» такие агенты дают характерный фон: лишние хиты на лендинги и thank-you page, иногда обход UTM-вариаций одного и того же URL. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на посадочных страницах.
Кому выгодны визиты AudigentAdBot
В отличие от многих adtech-краулеров без понятной модели пользы, у Audigent она прямо задекларирована: доступ к метаданным помогает точнее таргетировать рекламу, что может повышать ставки на инвентарь сайта и, соответственно, доход паблишера — но только если сайт реально участвует в цепочке Audigent или его партнёров-рекламодателей.
- Если сайт монетизируется через Audigent или связанных рекламодателей — Allow может напрямую влиять на доход от рекламы
- Если участия в этой цепочке нет — визиты не приносят пользы владельцу сайта, и их можно свободно ограничивать
Как найти AudigentAdBot в логах
# Базовый поиск
grep -i "audigentadbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "audigentadbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "audigentadbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "audigentadbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация
Официального списка IP или reverse-DNS схемы верификации Audigent не публикует — единственный документированный ориентир от оператора — точное совпадение UA-строки с образцом, включая ссылку +https://audigent.com/bot.html внутри неё. Если строка отличается от официального формата — это повод считать её подделкой и проверять по IP/ASN отдельно.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"robots.txt для AudigentAdBot
# Жёсткий запрет — только так, wildcard не сработает
User-agent: AudigentAdBot
Disallow: /
# Разрешить всё
User-agent: AudigentAdBot
Allow: /
# Компромисс: закрыть служебные разделы, оставить посадочные страницы
User-agent: AudigentAdBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: правило User-agent: * AudigentAdBot не затронет — блокировка работает только по явному имени бота. Если бот продолжает ходить после явного запрета — переходите к nginx/Apache или блокировке в TrafficVeil.
Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "audigentadbot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=audigentadbot:10m rate=10r/m;
location / {
if ($http_user_agent ~* "audigentadbot") {
limit_req zone=audigentadbot burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} audigentadbot [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите audigentadbot / AudigentAdBot в ботах домена или в /system/bots
- Не участвуете в рекламной цепочке Audigent — категория «запретить»; для мягкого сценария подойдёт rate-limit
- Allow — если сайт монетизируется через Audigent и точный таргетинг важен для дохода от рекламы
- После изменения сверьте логи: хиты AudigentAdBot должны уйти в блок/лимит, а поисковики Google/Yandex остаться без изменений
Рекомендации: что делать с AudigentAdBot
- Не льёте рекламу через Audigent или его партнёров — Disallow/403 с явным именем бота в robots.txt
- Монетизируетесь через Audigent — Allow, потенциально это влияет на ставки и доход от рекламного инвентаря
- Нагрузка мешает, но полностью закрывать не хочется — сначала rate-limit, затем полный запрет
- Не рассчитывайте на
User-agent: *— для AudigentAdBot оно не работает, нужен отдельный блок правил
С кем не путать AudigentAdBot
| Бот | Оператор | Отличие от AudigentAdBot |
|---|---|---|
| AudigentBot | Audigent (тот же) | Сканирует всю страницу целиком, включая body; блокируется обычным wildcard-правилом, в отличие от AudigentAdBot |
Частые вопросы
Что такое AudigentAdBot и кто его оператор?
Чем AudigentAdBot отличается от AudigentBot?
Заблокирует ли AudigentAdBot правило User-agent: * в robots.txt?
Есть ли польза сайту от визитов AudigentAdBot?
Как проверить, что запрос действительно от AudigentAdBot?
Что делать, если сайт не работает с Audigent?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.