AmazonAdBot: у него есть собственный сайт с живым списком IP — и прямое предупреждение о деньгах при блокировке

У AmazonAdBot, в отличие от многих ботов из категории «AdTech» в этой серии, есть собственный, полноценный официальный сайт с документацией — adbot.amazon.com, — включая живой список IP-адресов и инструкцию по верификации через двойной DNS-запрос. Это ощутимо более прозрачный уровень раскрытия, чем у большинства рекламных краулеров, и он прямо меняет то, как стоит оценивать блокировку.

Зачем Amazon Ads нужен собственный краулер

По официальному описанию Amazon, AmazonAdBot обслуживает рекламную сеть Amazon Ads: он сканирует страницы, которые запрашивают показ рекламы через рекламные системы Amazon, забирает содержимое страницы и пропускает его через собственные классификационные системы компании. Цель двойная — во-первых, поддерживать безопасную для рекламодателей среду (brand safety), обнаруживая потенциально неподходящий контент рядом с которым реклама показываться не должна; во-вторых, использовать контекстные сигналы содержимого страницы, чтобы повышать релевантность и заполняемость рекламных показов для самого издателя. То есть в отличие от многих ботов, которые действуют исключительно в интересах третьей стороны, AmazonAdBot напрямую завязан на монетизацию самого сайта, если тот показывает рекламу через Amazon Ads.

Параметры бота

Официальное предупреждение самой компании о последствиях блокировки

Adbot.amazon.com прямо и без обиняков предупреждает: блокировка доступа AmazonAdBot повлияет на доступ сайта к рекламному спросу Amazon Ads. Это не абстрактная формулировка «может ограничить использование в AI», характерная для многих других ботов, — а прямое указание на то, что для сайтов, монетизирующихся через Amazon Ads, блокировка этого конкретного бота напрямую затрагивает доход от рекламы.

Сколько трафика он создаёт

По независимым наблюдениям, интенсивность обхода AmazonAdBot заметно варьируется: сайты, которые релевантны бизнес-интересам конкретных клиентов рекламной сети (например, часто запрашивают рекламу через Amazon Ads или содержат контент, интересный для контекстного таргетинга), могут посещаться ежедневно или даже ежечасно, тогда как другие — крайне редко. Бот обычно фокусируется на конкретных страницах и точках данных, а не на исчерпывающем обходе всего сайта.

Как найти бота в логах и проверить подлинность

grep -i "AmazonAdBot" /var/log/nginx/access.log

host <IP>
# ожидаемый результат — поддомен amazonadbot.com
host <полученное_имя>
# должен вернуть тот же исходный IP

Официальный, живой список IP также доступен напрямую по адресу adbot.amazon.com/ip-addresses/ — его можно использовать для настройки allowlist на уровне WAF.

Стоит ли блокировать

• если сайт показывает рекламу через Amazon Ads — блокировка напрямую бьёт по доступу к этому источнику рекламного спроса, что для многих издателей означает прямые финансовые потери;
• если сайт не связан с Amazon Ads, но привлёк внимание бота как источник конкурентной или рыночной бизнес-информации для стороннего клиента рекламной сети — присутствие бота не приносит прямой выгоды владельцу сайта, и в этом случае блокировка обоснована;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это отдельная от классической поисковой индексации рекламная система.

Как настроить доступ

Официальная рекомендация Cloudflare Radar для полного запрета:

User-agent: AmazonAdBot
Disallow: /

Явное разрешение, если сайт монетизируется через Amazon Ads:

User-agent: AmazonAdBot
Allow: /

Для гарантированного результата на уровне сервера:

if ($http_user_agent ~* "AmazonAdBot") {
    return 403;
}

Перед блокировкой стоит явно проверить, не используется ли на сайте реклама Amazon Ads прямо или через одну из платформ-посредников, — учитывая прямое предупреждение самой компании о последствиях для рекламного дохода.