Amazon-Advertising-ad-standards-bot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Рекламные и AdTech-боты». Оператор здесь подтверждён независимым каталогом ботов: это краулер Amazon, который специально проверяет, соответствуют ли рекламные объявления в вебе стандартам и политикам компании — то есть именно compliance-проверка, а не просто общий аудит качества посадочной страницы.
1. Что такое Amazon-Advertising-ad-standards-bot
У Amazon целое семейство похожих по названию, но разных по задаче краулеров, и стоит не путать их между собой. Amazon-Advertising-ad-standards-bot специализируется именно на проверке нарушений рекламных политик (policy violations) — запрещённый контент, вводящие в заблуждение формулировки и подобные нарушения правил размещения рекламы. Рядом в этом же семействе: AmazonAdBot — визит на посадочные страницы конкретных рекламодателей для проверки соответствия рекламным политикам, ведёт себя скорее как точечный «intelligence gatherer», возвращаясь к узкому набору страниц по расписанию клиента, а не сканируя сайт целиком; contxbot — индексирует контент страницы, чтобы понять тематику сайта для подбора релевантной рекламы через сеть Amazon; AmazonProductDiscovery — собирает информацию о товарах по всему вебу.
| Название | Amazon-Advertising-ad-standards-bot |
| User-Agent / паттерн | amazon-advertising-ad-standards-bot |
| Оператор | Amazon — подтверждено независимым каталогом ботов |
| Роль | Проверяет, соответствуют ли объявления в вебе рекламным стандартам и политикам Amazon — фокус на нарушениях правил (policy violations), а не только на общем качестве страницы |
| Документация / ориентир | Официальной first-party страницы для вебмастеров конкретно про этот бот не найдено; назначение задокументировано независимым каталогом ботов |
| Список IP | ❌ Официального списка под этот конкретный токен не найдено — проверяйте по UA и поведению |
| robots.txt | Данных о строгом соблюдении именно этим токеном не найдено; для сравнения, у ряда других краулеров Amazon (Amazonbot и подобных) поведение задокументировано как широкие, непредсказуемые по времени обходы |
| Пометка TrafficVeil | Нежелательный / Рекламные и AdTech-боты |
2. Зачем Amazon-Advertising-ad-standards-bot приходит на сайт
Если на сайте показывается реклама, размещённая через рекламную инфраструктуру Amazon, или если URL сайта фигурирует как посадочная страница в чьей-то рекламной кампании, бот проверяет её на соответствие рекламным политикам — запрещённый контент, вводящие в заблуждение заявления и подобные нарушения правил.
- Какие зоны чаще трогает: посадочные, /lp/, UTM-варианты URL, advertorial-страницы;
- Что ищет: признаки нарушения рекламных стандартов и политик — а не просто общее содержимое страницы;
- Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует amazon-advertising-ad-standards-bot на пагинации и карточках. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно.
3. Нагрузка и риски именно для Amazon-Advertising-ad-standards-bot
Отдельной строки в публичной сводке top-bot TrafficVeil у amazon-advertising-ad-standards-bot может не быть, но в категории «Рекламные и AdTech-боты» такие агенты дают характерный фон: лишние хиты на лендинги и thank-you page, иногда обход UTM-URL. Поскольку задача бота — проверка соответствия политикам конкретных объявлений, а не сплошное сканирование, серьёзной нагрузки при штатной работе обычно не возникает.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти Amazon-Advertising-ad-standards-bot в логах
Не ищите «просто ботов» — ищите конкретный токен amazon-advertising-ad-standards-bot и рядом смотрите соседей по семейству рекламных краулеров Amazon.
# Базовый поиск
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log
# Проверить семейство похожих ботов Amazon
grep -iE "amazonadbot|contxbot|amazonproductdiscovery|amazonbot|amzn-searchbot" /var/log/nginx/access.log | wc -l
# Топ URL, которые вычитывает бот
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "amazon-advertising-ad-standards-bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация. Подделать User-Agent может любой скрипт. Официального списка IP под этот конкретный токен не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + набор URL, а также сверяйте с соседними ботами того же семейства Amazon — совпадение поведения повышает уверенность в подлинности.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для Amazon-Advertising-ad-standards-bot
# Жёсткий запрет
User-agent: amazon-advertising-ad-standards-bot
Disallow: /
# Разрешить всё
User-agent: amazon-advertising-ad-standards-bot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: amazon-advertising-ad-standards-bot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для amazon-advertising-ad-standards-bot, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "amazon-advertising-ad-standards-bot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_bb18f40fbc78_key {
default "";
"~*amazon-advertising-ad-standards-bot" $binary_remote_addr;
}
limit_req_zone $tv_ng_bb18f40fbc78_key zone=tv_ng_bb18f40fbc78:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_bb18f40fbc78 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} amazon-advertising-ad-standards-bot [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите amazon-advertising-ad-standards-bot в ботах домена или в /system/bots;
- Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной пользе — например, если сайт участвует в рекламной инфраструктуре Amazon и заинтересован в прохождении проверки на соответствие политикам;
- После изменения сверьте логи: хиты Amazon-Advertising-ad-standards-bot должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с Amazon-Advertising-ad-standards-bot
- Если не льёте рекламу через этого игрока — можно резать;
- Если льёте — оставьте allow или rate-limit, поскольку блокировка может помешать прохождению compliance-проверки для активной кампании;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Помните про семейство соседних ботов Amazon (AmazonAdBot, contxbot, AmazonProductDiscovery, Amazonbot, Amzn-SearchBot) — у каждого своя задача, и правило для одного не обязательно должно применяться к другим.
8. С кем не путать Amazon-Advertising-ad-standards-bot
| Бот / сосед | Кластер | UA | Комментарий |
| AmazonAdBot | Рекламные и AdTech-боты | amazonadbot | тот же оператор — точечно возвращается к посадочным страницам конкретных рекламодателей по расписанию, а не сканирует сайт целиком |
| contxbot | Рекламные и AdTech-боты | contxbot | тот же оператор — индексирует контент для понимания тематики сайта под контекстную рекламу |
| AmazonProductDiscovery | Рекламные и AdTech-боты | amazonproductdiscovery | тот же оператор — сбор данных о товарах по вебу, другая задача |
| Amazonbot | AI и LLM-краулеры | amazonbot | тот же оператор, но другая задача — широкий сбор контента для Alexa/Kindle/Amazon Shopping и AI-моделей |
| Amzn-SearchBot | AI и LLM-краулеры | amzn-searchbot | тот же оператор — AI-поисковый краулер для Alexa и других сервисов, работает как Googlebot с менее предсказуемым расписанием |
9. Стратегия allow/deny для Amazon-Advertising-ad-standards-bot
| Ситуация | Действие |
| Нужна польза от оператора (реклама через Amazon) | Allow + закрыть /admin /cart /api |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Не доверять строке UA; сверять поведение с соседними ботами того же семейства Amazon |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Amazon-Advertising-ad-standards-bot — это то же самое, что AmazonAdBot?
Что именно ищет этот бот на странице?
Сколько всего похожих ботов у Amazon?
Нужно ли применять одно правило ко всем ботам Amazon сразу?
Публикует ли Amazon официальный список IP для этого конкретного бота?
Что теряет сайт при блокировке, если реклама через Amazon ведётся?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.