Amazon-Advertising-ad-standards-bot: проверка на нарушения политик

Amazon-Advertising-ad-standards-bot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Рекламные и AdTech-боты». Оператор здесь подтверждён независимым каталогом ботов: это краулер Amazon, который специально проверяет, соответствуют ли рекламные объявления в вебе стандартам и политикам компании — то есть именно compliance-проверка, а не просто общий аудит качества посадочной страницы.

1. Что такое Amazon-Advertising-ad-standards-bot

У Amazon целое семейство похожих по названию, но разных по задаче краулеров, и стоит не путать их между собой. Amazon-Advertising-ad-standards-bot специализируется именно на проверке нарушений рекламных политик (policy violations) — запрещённый контент, вводящие в заблуждение формулировки и подобные нарушения правил размещения рекламы. Рядом в этом же семействе: AmazonAdBot — визит на посадочные страницы конкретных рекламодателей для проверки соответствия рекламным политикам, ведёт себя скорее как точечный «intelligence gatherer», возвращаясь к узкому набору страниц по расписанию клиента, а не сканируя сайт целиком; contxbot — индексирует контент страницы, чтобы понять тематику сайта для подбора релевантной рекламы через сеть Amazon; AmazonProductDiscovery — собирает информацию о товарах по всему вебу.

2. Зачем Amazon-Advertising-ad-standards-bot приходит на сайт

Если на сайте показывается реклама, размещённая через рекламную инфраструктуру Amazon, или если URL сайта фигурирует как посадочная страница в чьей-то рекламной кампании, бот проверяет её на соответствие рекламным политикам — запрещённый контент, вводящие в заблуждение заявления и подобные нарушения правил.

• Какие зоны чаще трогает: посадочные, /lp/, UTM-варианты URL, advertorial-страницы;
• Что ищет: признаки нарушения рекламных стандартов и политик — а не просто общее содержимое страницы;
• Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует amazon-advertising-ad-standards-bot на пагинации и карточках. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно.

3. Нагрузка и риски именно для Amazon-Advertising-ad-standards-bot

Отдельной строки в публичной сводке top-bot TrafficVeil у amazon-advertising-ad-standards-bot может не быть, но в категории «Рекламные и AdTech-боты» такие агенты дают характерный фон: лишние хиты на лендинги и thank-you page, иногда обход UTM-URL. Поскольку задача бота — проверка соответствия политикам конкретных объявлений, а не сплошное сканирование, серьёзной нагрузки при штатной работе обычно не возникает.

4. Как найти Amazon-Advertising-ad-standards-bot в логах

Не ищите «просто ботов» — ищите конкретный токен amazon-advertising-ad-standards-bot и рядом смотрите соседей по семейству рекламных краулеров Amazon.

# Базовый поиск
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log

# Проверить семейство похожих ботов Amazon
grep -iE "amazonadbot|contxbot|amazonproductdiscovery|amazonbot|amzn-searchbot" /var/log/nginx/access.log | wc -l

# Топ URL, которые вычитывает бот
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP под этот конкретный токен не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + набор URL, а также сверяйте с соседними ботами того же семейства Amazon — совпадение поведения повышает уверенность в подлинности.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Amazon-Advertising-ad-standards-bot

# Жёсткий запрет
User-agent: amazon-advertising-ad-standards-bot
Disallow: /

# Разрешить всё
User-agent: amazon-advertising-ad-standards-bot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: amazon-advertising-ad-standards-bot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для amazon-advertising-ad-standards-bot, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "amazon-advertising-ad-standards-bot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=amazonadvertisinga:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "amazon-advertising-ad-standards-bot") {
        limit_req zone=amazonadvertisinga burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} amazon-advertising-ad-standards-bot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите amazon-advertising-ad-standards-bot в ботах домена или в /system/bots;
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
• Allow только при явной пользе — например, если сайт участвует в рекламной инфраструктуре Amazon и заинтересован в прохождении проверки на соответствие политикам;
• После изменения сверьте логи: хиты Amazon-Advertising-ad-standards-bot должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с Amazon-Advertising-ad-standards-bot

• Если не льёте рекламу через этого игрока — можно резать;
• Если льёте — оставьте allow или rate-limit, поскольку блокировка может помешать прохождению compliance-проверки для активной кампании;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Помните про семейство соседних ботов Amazon (AmazonAdBot, contxbot, AmazonProductDiscovery, Amazonbot, Amzn-SearchBot) — у каждого своя задача, и правило для одного не обязательно должно применяться к другим.

8. С кем не путать Amazon-Advertising-ad-standards-bot

9. Стратегия allow/deny для Amazon-Advertising-ad-standards-bot