Amazon-Advertising-ad-standards-bot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Рекламные и AdTech-боты». Оператор здесь подтверждён независимым каталогом ботов: это краулер Amazon, который специально проверяет, соответствуют ли рекламные объявления в вебе стандартам и политикам компании — то есть именно compliance-проверка, а не просто общий аудит качества посадочной страницы.
1. Что такое Amazon-Advertising-ad-standards-bot
У Amazon целое семейство похожих по названию, но разных по задаче краулеров, и стоит не путать их между собой. Amazon-Advertising-ad-standards-bot специализируется именно на проверке нарушений рекламных политик (policy violations) — запрещённый контент, вводящие в заблуждение формулировки и подобные нарушения правил размещения рекламы. Рядом в этом же семействе: AmazonAdBot — визит на посадочные страницы конкретных рекламодателей для проверки соответствия рекламным политикам, ведёт себя скорее как точечный «intelligence gatherer», возвращаясь к узкому набору страниц по расписанию клиента, а не сканируя сайт целиком; contxbot — индексирует контент страницы, чтобы понять тематику сайта для подбора релевантной рекламы через сеть Amazon; AmazonProductDiscovery — собирает информацию о товарах по всему вебу.
| Название | Amazon-Advertising-ad-standards-bot |
| User-Agent / паттерн | amazon-advertising-ad-standards-bot |
| Оператор | Amazon — подтверждено независимым каталогом ботов |
| Роль | Проверяет, соответствуют ли объявления в вебе рекламным стандартам и политикам Amazon — фокус на нарушениях правил (policy violations), а не только на общем качестве страницы |
| Документация / ориентир | Официальной first-party страницы для вебмастеров конкретно про этот бот не найдено; назначение задокументировано независимым каталогом ботов |
| Список IP | ❌ Официального списка под этот конкретный токен не найдено — проверяйте по UA и поведению |
| robots.txt | Данных о строгом соблюдении именно этим токеном не найдено; для сравнения, у ряда других краулеров Amazon (Amazonbot и подобных) поведение задокументировано как широкие, непредсказуемые по времени обходы |
| Пометка TrafficVeil | Нежелательный / Рекламные и AdTech-боты |
2. Зачем Amazon-Advertising-ad-standards-bot приходит на сайт
Если на сайте показывается реклама, размещённая через рекламную инфраструктуру Amazon, или если URL сайта фигурирует как посадочная страница в чьей-то рекламной кампании, бот проверяет её на соответствие рекламным политикам — запрещённый контент, вводящие в заблуждение заявления и подобные нарушения правил.
- Какие зоны чаще трогает: посадочные, /lp/, UTM-варианты URL, advertorial-страницы;
- Что ищет: признаки нарушения рекламных стандартов и политик — а не просто общее содержимое страницы;
- Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует amazon-advertising-ad-standards-bot на пагинации и карточках. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно.
3. Нагрузка и риски именно для Amazon-Advertising-ad-standards-bot
Отдельной строки в публичной сводке top-bot TrafficVeil у amazon-advertising-ad-standards-bot может не быть, но в категории «Рекламные и AdTech-боты» такие агенты дают характерный фон: лишние хиты на лендинги и thank-you page, иногда обход UTM-URL. Поскольку задача бота — проверка соответствия политикам конкретных объявлений, а не сплошное сканирование, серьёзной нагрузки при штатной работе обычно не возникает.
4. Как найти Amazon-Advertising-ad-standards-bot в логах
Не ищите «просто ботов» — ищите конкретный токен amazon-advertising-ad-standards-bot и рядом смотрите соседей по семейству рекламных краулеров Amazon.
# Базовый поиск
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log
# Проверить семейство похожих ботов Amazon
grep -iE "amazonadbot|contxbot|amazonproductdiscovery|amazonbot|amzn-searchbot" /var/log/nginx/access.log | wc -l
# Топ URL, которые вычитывает бот
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация. Подделать User-Agent может любой скрипт. Официального списка IP под этот конкретный токен не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + набор URL, а также сверяйте с соседними ботами того же семейства Amazon — совпадение поведения повышает уверенность в подлинности.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для Amazon-Advertising-ad-standards-bot
# Жёсткий запрет
User-agent: amazon-advertising-ad-standards-bot
Disallow: /
# Разрешить всё
User-agent: amazon-advertising-ad-standards-bot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: amazon-advertising-ad-standards-bot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: ставьте Disallow или 403 для amazon-advertising-ad-standards-bot, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "amazon-advertising-ad-standards-bot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=amazonadvertisinga:10m rate=10r/m;
location / {
if ($http_user_agent ~* "amazon-advertising-ad-standards-bot") {
limit_req zone=amazonadvertisinga burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} amazon-advertising-ad-standards-bot [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите amazon-advertising-ad-standards-bot в ботах домена или в /system/bots;
- Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной пользе — например, если сайт участвует в рекламной инфраструктуре Amazon и заинтересован в прохождении проверки на соответствие политикам;
- После изменения сверьте логи: хиты Amazon-Advertising-ad-standards-bot должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с Amazon-Advertising-ad-standards-bot
- Если не льёте рекламу через этого игрока — можно резать;
- Если льёте — оставьте allow или rate-limit, поскольку блокировка может помешать прохождению compliance-проверки для активной кампании;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Помните про семейство соседних ботов Amazon (AmazonAdBot, contxbot, AmazonProductDiscovery, Amazonbot, Amzn-SearchBot) — у каждого своя задача, и правило для одного не обязательно должно применяться к другим.
8. С кем не путать Amazon-Advertising-ad-standards-bot
| Бот / сосед | Кластер | UA | Комментарий |
| AmazonAdBot | Рекламные и AdTech-боты | amazonadbot | тот же оператор — точечно возвращается к посадочным страницам конкретных рекламодателей по расписанию, а не сканирует сайт целиком |
| contxbot | Рекламные и AdTech-боты | contxbot | тот же оператор — индексирует контент для понимания тематики сайта под контекстную рекламу |
| AmazonProductDiscovery | Рекламные и AdTech-боты | amazonproductdiscovery | тот же оператор — сбор данных о товарах по вебу, другая задача |
| Amazonbot | AI и LLM-краулеры | amazonbot | тот же оператор, но другая задача — широкий сбор контента для Alexa/Kindle/Amazon Shopping и AI-моделей |
| Amzn-SearchBot | AI и LLM-краулеры | amzn-searchbot | тот же оператор — AI-поисковый краулер для Alexa и других сервисов, работает как Googlebot с менее предсказуемым расписанием |
9. Стратегия allow/deny для Amazon-Advertising-ad-standards-bot
| Ситуация | Действие |
| Нужна польза от оператора (реклама через Amazon) | Allow + закрыть /admin /cart /api |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Не доверять строке UA; сверять поведение с соседними ботами того же семейства Amazon |