Amzn-SearchBot и скрытая программа с бонусом к комиссии

Amzn-SearchBot — краулер Amazon для поисковых сценариев продуктов Amazon (в т.ч. Alexa и связанные search experiences). По официальной документации он не краулит контент для обучения generative AI — это отдельная роль у Amazonbot. Блокировка SearchBot снижает шанс появления контента в Amazon search surfaces, но не является полным opt-out от AI-training Amazon.

Что такое Amzn-SearchBot

Финансовый стимул, о котором редко упоминают

Помимо технической стороны, у разрешения Amazonbot (родственного бота, не самого SearchBot) есть конкретная коммерческая программа: если сайт разрешает Amazonbot в robots.txt, он может претендовать на участие в Amazon Content Partners — программе, которая даёт независимым создателям контента прибавку +1% к партнёрской комиссии на подходящие продажи, бесплатные хостинг-кредиты и инструменты управления AI-трафиком. Для площадок, работающих с партнёрскими программами Amazon, это прямой финансовый аргумент в пользу осознанного allow, а не просто «нейтральной терпимости» к обходу.

Семья Amazon: три бота

Стратегия: нужен Alexa/search, но не training — Allow SearchBot (+ User), Disallow Amazonbot. Режете SearchBot — теряете search eligibility, training этим не закрываете. Нюанс, подтверждённый официальной документацией дословно: если в robots.txt нет отдельных правил для Amzn-SearchBot, но разрешены другие search-боты, SearchBot будет следовать директивам, заданным для этих «других search-ботов» — то есть отсутствие явного правила не означает автоматического запрета.

Нагрузка

По сводке TrafficVeil (март–июнь 2026, июнь по 14.06) паттерн amzn-searchbot — порядка 90 тысяч запросов (март 0, апрель ~67 тыс., май ~16 тыс., июнь ~7 тыс.). Резкий спад после апреля стоит сверить по свежим месяцам.

Логи и IP

grep -i "Amzn-SearchBot" /var/log/nginx/access.log
# сверяйте IP с официальным searchbot-ip-addresses
curl -sL https://developer.amazon.com/amazonbot/searchbot-ip-addresses | head

Верификация через reverse DNS

Официальный метод точнее, чем просто «домен amazon где-то в строке»: имя должно резолвиться конкретно в поддомен crawl.amazonbot.amazon, а затем forward-проверка должна вернуть тот же исходный IP:

host 12.34.56.789
# ожидается: ...crawl.amazonbot.amazon

host 12-34-56-789.crawl.amazonbot.amazon
# должен вернуть тот же исходный IP

robots.txt

# Только search (Alexa), без training-краулера
User-agent: Amazonbot
Disallow: /
User-agent: Amzn-SearchBot
Allow: /
User-agent: Amzn-User
Allow: /

# Убрать и search
User-agent: Amzn-SearchBot
Disallow: /

Crawl-delay игнорируется. Для тонкой настройки на уровне страниц — meta noarchive / noindex по документации Amazon.

Сервер / TrafficVeil

if ($http_user_agent ~* "Amzn-SearchBot") {
    return 403;
}

Разделяйте Amazonbot / SearchBot / Amzn-User в правилах — у них разное назначение и разные последствия блокировки. Верификация: UA + IP из официального feed, в идеале дополненные reverse DNS проверкой на crawl.amazonbot.amazon.

Стратегия