Amazing-SearchBot: краулер образовательной компании для Amazon-продавцов — и как не спутать его с ботом Amazon

Прежде чем разбирать сам бот, стоит закрыть главный источник путаницы: Amazing-SearchBot и Amzn-SearchBot — это два совершенно разных бота двух разных компаний, у которых даже написание в UA специально не совпадает. Amzn-SearchBot принадлежит Amazon. Amazing-SearchBot — краулер компании Amazing.com, основанной в 2012–2013 году в Остине, штат Техас, и никакого корпоративного отношения к Amazon не имеющей, несмотря на созвучное с маркетплейсом название и тематику бизнеса.

Чем занимается Amazing.com и зачем ей нужен собственный краулер

Amazing.com — образовательная и софтверная компания для продавцов на Amazon: она известна прежде всего программой Amazing Selling Machine, которая учит людей строить бизнес по продаже физических товаров через Amazon FBA, Shopify, Walmart и TikTok Shop, и по собственным данным компании обучила свыше 35 тысяч человек за более чем десятилетие работы. Помимо образовательного продукта, у компании есть софтверный инструмент Amazing Intelligence — сервис аналитики продаж и рынка для действующих и будущих продавцов на Amazon, который отслеживает показатели по подключённым аккаунтам и, судя по функциональности продукта, требует сбора рыночных данных извне для полноценной аналитики конкурентов и товарных ниш.

Именно такого рода задача — систематический сбор данных о товарах, ценах или рыночной информации для собственного аналитического продукта компании — наиболее правдоподобное объяснение того, зачем Amazing-SearchBot обращается к сторонним сайтам: не для построения публичной поисковой выдачи, а как часть внутреннего пайплайна данных для собственных коммерческих инструментов компании.

Параметры бота

Почему рейтинг доверия ниже, чем у крупных краулеров

Более низкая оценка доверия в независимых каталогах ботов — не обвинение во вредоносности, а, как правило, следствие того, что у оператора нет истории длительной прозрачной работы, официально публикуемых диапазонов IP и развёрнутой публичной документации поведения краулера, характерной для крупных, давно работающих на рынке индексаторов. Для относительно небольшой компании с узкой нишевой аудиторией (продавцы на маркетплейсах) это скорее ожидаемая ситуация, чем сигнал недобросовестности — но она означает, что доверять содержимому строки User-Agent при принятии решения о доступе стоит с осторожностью, полагаясь на дополнительную верификацию по IP/ASN, а не только на заявленное имя.

Сколько трафика он создаёт

По сводке TrafficVeil, объём запросов от Amazing-SearchBot на подключённых доменах низкий по сравнению с крупными категориями краулеров в общей статистике — что закономерно для нишевого сервисного бота, обслуживающего аналитический продукт для сравнительно небольшой аудитории продавцов, а не массовую индексацию всего веба.

Как найти бота в логах

grep -i "Amazing-SearchBot\|AmazingTest-SearchBot" /var/log/nginx/access.log

Важно: искать оба токена семейства вместе, но не смешивать поиск с Amzn-SearchBot — это гарантированно другой оператор, и объединение правил под одним regex рискует привести к ошибочному применению политики не к тому боту.

Как заблокировать

При отсутствии подтверждённой пользы для владельца сайта (например, сайт не связан с Amazon-продажами и не заинтересован в попадании в аналитику Amazing Intelligence) — запрет для обоих токенов семейства отдельными группами:

User-agent: Amazing-SearchBot
Disallow: /

User-agent: AmazingTest-SearchBot
Disallow: /

if ($http_user_agent ~* "Amazing-SearchBot|AmazingTest-SearchBot") {
    return 403;
}

При этом важно явно убедиться, что регулярное выражение в правиле блокировки не затрагивает Amzn-SearchBot по ошибке — за счёт совпадения корня «amazon»-подобного написания при недостаточно точном шаблоне. Регулярка выше специально ограничена только двумя токенами семейства Amazing.com и не пересекается с написанием Amzn-SearchBot.

На позиции в органической выдаче Google, Bing или Яндекса блокировка не влияет — этот бот не связан ни с одной поисковой системой и обслуживает исключительно внутренние продукты компании Amazing.com.