AmazonProductDiscoverybot: зачем Amazon собирает данные о товарах с вашего сайта

AmazonProductDiscoverybot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Прочие краулеры и сервисы» — но, в отличие от многих соседей по категории, у этого бота есть открытая официальная документация от самого оператора. AmazonProductDiscoverybot — краулер Amazon, который собирает публично доступные данные о товарах с сайтов продавцов, брендов и ретейлеров, чтобы повысить точность и полноту информации о товарах на самой Amazon. Задача бота узкая и конкретная: не общий анализ контента сайта, а именно карточки товаров — для того, чтобы покупатели на Amazon видели корректные и полные данные при выборе покупки. Оператор: Amazon — официальная документация доступна на vendorcentral.amazon.com/support/amazonproductbot. Классификация: в базе TrafficVeil — Прочие краулеры и сервисы, нежелательный по нагрузке; но для продавцов/брендов, представленных на Amazon, у бота есть прямая практическая ценность.

Что такое AmazonProductDiscoverybot

Зачем AmazonProductDiscoverybot приходит на сайт

Бот вычитывает страницы товаров на сайтах продавцов, брендов и ретейлеров — то есть, если ваш сайт продаёт товары (особенно те же, что представлены на Amazon), обход почти наверняка связан именно с попыткой сверить или дополнить карточку товара в каталоге Amazon.

• Какие зоны чаще трогает: страницы товаров, карточки, каталог — публичные URL, связанные с продукцией
• Что ищет: название, характеристики, цену, доступность и другие публичные данные о товаре
• Чем отличается от браузерного пользователя: нет полноценной сессии, регулярные повторные визиты на карточки товаров, повторяемый path-паттерн

Типичный кейс: CDN-трафик дорожает, origin CPU нагружен вычиткой HTML. Фильтр по amazonproductdiscovery в логах показывает, что бот концентрируется именно на разделах с товарами — карточках и категориях, а не на сайте целиком.

AmazonSellerInitiatedListing — не спутайте с пассивным обходом

У того же официального документа Amazon описан смежный механизм — AmazonSellerInitiatedListing. В отличие от AmazonProductDiscoverybot, который обходит сайты самостоятельно, этот сценарий запускается по инициативе самого продавца: он сам указывает URL своего сайта, чтобы Amazon создал по нему качественную карточку товара в своём каталоге. Если в логах встречается этот UA — скорее всего, кто-то из ваших продавцов/партнёров явно инициировал такой запрос через Amazon, а не столкнулся со случайным ботом.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у amazonproductdiscovery может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на карточках товаров.

Кому выгодны визиты AmazonProductDiscoverybot

• Если ваш бренд или магазин представлен на Amazon (как продавец, вендор или через дистрибьютора) — точные данные, собранные ботом, напрямую влияют на то, что покупатели увидят в карточке товара на Amazon; блокировка может ухудшить качество этой карточки
• Если товары компании на Amazon не продаются и не связаны с маркетплейсом — визиты не приносят прямой пользы, и их можно спокойно ограничивать

Как найти AmazonProductDiscoverybot в логах

# Базовый поиск
grep -i "amazonproductdiscovery" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "amazonproductdiscovery" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "amazonproductdiscovery" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "amazonproductdiscovery" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Официального списка IP для этого бота Amazon не публикует, поэтому строке UA напрямую доверять нельзя — её может присвоить себе любой скрипт. Ориентируйтесь на точное совпадение идентификатора AmazonProductDiscovery/1.0 и ссылки на официальную документацию внутри UA, а также на поведение и ASN:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для AmazonProductDiscoverybot

# Жёсткий запрет всех директорий
User-agent: AmazonProductDiscoverybot
Disallow: /

# Запрет конкретного раздела
User-agent: AmazonProductDiscoverybot
Disallow: /do-not-crawl-specific-directory/

# Разрешить всё
User-agent: AmazonProductDiscoverybot
Allow: /

Важные нюансы от самого Amazon: бот честно соблюдает Disallow-директивы, но изменения в robots.txt применяются в их системах с задержкой до 24 часов. Директивы crawl-delay, nofollow и noindex бот не поддерживает вообще — рассчитывать на них бессмысленно, работает только явный Disallow. Если файл robots.txt недоступен для скачивания, бот ведёт себя так, будто его вовсе нет — то есть обходит сайт без ограничений.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "amazonproductdiscovery") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=amazonproductdisco:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "amazonproductdiscovery") {
        limit_req zone=amazonproductdisco burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} amazonproductdiscovery [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите amazonproductdiscovery / AmazonProductDiscoverybot в ботах домена или в /system/bots
• Товары компании продаются на Amazon — рассмотрите allow, точность карточки товара может влиять на продажи
• Прямой связи с Amazon нет — можно смело ставить запрет или rate-limit
• После изменения сверьте логи: хиты AmazonProductDiscoverybot должны уйти в блок/лимит, а поисковики Google/Yandex остаться без изменений

Рекомендации: что делать с AmazonProductDiscoverybot

• Продаёте на Amazon и заинтересованы в точности карточки товара — Allow, закрыв только служебные разделы (/admin, /cart, /api)
• Amazon как канал продаж не используете — Disallow/403 через явное правило в robots.txt, помня про задержку применения до 24 часов
• Нагрузка мешает, но полностью закрывать не хочется — rate-limit как промежуточный шаг
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot
• При спорных случаях (например, подозрение на неверные данные в карточке товара) можно написать напрямую в Amazon: amazon-product-discovery-bot@amazon.com, указав домен

С кем не путать AmazonProductDiscoverybot