Строка amzn-user в логах — далеко не безымянный «прочий краулер, оператор которого определяется по UA и поведению». Это официальный агент Amazon, задокументированный на developer.amazon.com наравне с Amazonbot и Amzn-SearchBot. Причём именно этот агент — самый безобидный из трёх: он не строит индекс и не собирает данные для обучения моделей, а просто подтягивает актуальную информацию в момент, когда живой человек задал вопрос голосовому ассистенту Alexa.
Что такое Amzn-User на самом деле
Amazon официально описывает три разных краулера с разным назначением: Amazonbot — общий сборщик контента, чей обход может использоваться и для обучения AI-моделей; Amzn-SearchBot — индексация специально для поисковых сценариев Alexa и Rufus, без использования в обучении; Amzn-User — фетчер, который забирает конкретную страницу «на лету», когда пользователь Alexa задаёт вопрос, требующий актуальных данных из интернета. Это три независимых агента: блокировка одного не влияет на два других.
| Параметр | Значение |
| Название | Amzn-User |
| User-Agent / паттерн | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-User/0.1) Chrome/... Safari/537.36 |
| Оператор | Amazon (официально задокументирован на developer.amazon.com/en/amazonbot) |
| Категория TrafficVeil | Пользовательский AI-фетчер Amazon (не обучающий краулер и не общая индексация) |
| Что делает на сайте | Забирает одну конкретную страницу в ответ на реальный запрос пользователя Alexa, которому нужны актуальные данные |
| Использование для обучения AI | По официальному заявлению Amazon — не используется |
| Список IP | ✅ Официально публикуется Amazon на developer-портале для всех трёх краулеров |
| robots.txt | Соблюдает точечные правила под своим именем, но игнорирует общий User-agent: * — нужна отдельная директива именно для Amzn-User |
| Пометка TrafficVeil | Легитимный — блокировка не влияет на SEO, но лишает контент шанса попасть в живой ответ Alexa/Rufus |
Зачем Amzn-User приходит на сайт
Визит происходит не по расписанию системного обхода, а в момент реального пользовательского запроса: например, покупатель спрашивает у Alexa или в Rufus что-то, требующее свежих данных с конкретного сайта, и агент точечно забирает нужную страницу, чтобы дать актуальный ответ. Это отличает его от Amazonbot, который может системно проходить сайт целиком ради собственного индекса.
Почему пометка «нежелательный» здесь ошибочна
Amzn-User — не источник фонового шума и не сборщик данных «на будущее»: каждый визит — это, по сути, прямой запрос конкретного покупателя, которому ваш сайт мог дать полезный ответ через Alexa или Rufus. Блокировка не защищает от паразитной нагрузки, а лишает бизнес шанса быть процитированным в голосовом или шопинг-ассистенте Amazon в момент реального интереса пользователя.
Как найти Amzn-User в логах
# Базовый поиск
grep -i "amzn-user" /var/log/nginx/access.log
# Какие страницы запрашивались (обычно единичные, по конкретному запросу)
grep -i "amzn-user" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP — сверяем с официальным списком Amazon
grep -i "amzn-user" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сравните IP с официальным списком Amazon, а не только с UA — заголовок легко подделать:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt: важный нюанс
Amazn-User, как и ряд других user-initiated фетчеров, не подчиняется общему правилу User-agent: * — остановить его можно только точечной директивой под собственным именем. Ещё одна практическая деталь: обновления robots.txt Amazon может подхватывать с задержкой до 30 дней, так что мгновенного эффекта от правки ждать не стоит.
# Разрешить (рекомендуется, если важна видимость в Alexa/Rufus)
User-agent: Amzn-User
Allow: /
# Опционально: отдельно закрыть обучающий краулер, оставив Amzn-User и Amzn-SearchBot
User-agent: Amazonbot
Disallow: /
User-agent: Amzn-SearchBot
Allow: /
User-agent: Amzn-User
Allow: /Блокировка вручную и через TrafficVeil
TrafficVeil: найдите amzn-user в списке ботов домена. Для большинства сайтов, включая e-commerce, разумный вариант — allow без rate-limit: нагрузка от точечных пользовательских запросов минимальна, а потенциальная выгода (упоминание в ответе Alexa или Rufus) реальна. Полный запрет имеет смысл только при осознанном решении не участвовать ни в каких сценариях Amazon.
С кем можно перепутать Amzn-User
| Бот | Назначение |
| Amazonbot | Общий сборщик контента Amazon, обход может использоваться для обучения AI-моделей — единственный из трёх с этим риском |
| Amzn-SearchBot | Индексация специально для поисковых сценариев Alexa и Rufus, без использования в обучении |
| AmazonBuyForMe | Отдельный транзакционный агент — не просто читает страницу, а проходит чекаут для завершения покупки |
Что в итоге делать с Amzn-User
| Ситуация | Действие |
| Стандартный случай — важна видимость в Alexa/Rufus | Allow под точечным правилом Amzn-User, без rate-limit |
| Важно не участвовать в обучении AI, но видимость в Alexa/Rufus нужна | Заблокировать только Amazonbot, оставить Amzn-User и Amzn-SearchBot открытыми |
| Принципиально не нужно никакое участие в экосистеме Amazon | Точечный Disallow под именем Amzn-User — общий * не сработает |
| Подозрение на спуфинг UA | Сверять IP с официальным списком Amazon, а не доверять строке UA |