AmazingTest-SearchBot: тестовый токен, не Amazon

AmazingTest-SearchBot — тестовый вариант рядом с основным токеном Amazing-SearchBot (сайт-ориентир amazing.com). Важно сразу зафиксировать: это не Amazon и не имеет отношения к их реальному AI-поисковому краулеру Amzn-SearchBot — совпадение первых букв в названии создаёт риск спутать два совершенно разных токена, что стоит держать в уме при настройке правил.

1. Что такое AmazingTest-SearchBot

Токен Amazing-SearchBot встречается в независимых, поддерживаемых сообществом базах распознавания ботов (в частности, в открытых библиотеках обнаружения краулеров) в одном ряду с другими реальными, признанными поисковыми и AI-краулерами — но развёрнутой first-party документации именно для amazing.com в открытом доступе не обнаружено. AmazingTest-SearchBot по всей видимости — тестовая или staging-версия того же семейства, которую иногда можно встретить в логах наравне с основным токеном.

2. Зачем AmazingTest-SearchBot приходит на сайт

Поскольку first-party объяснений мало, у владельца сайта нет прямого способа узнать точную цель обхода — по аналогии с семейством Amazing-SearchBot, вероятнее всего речь идёт о поисковой индексации или сборе данных для некоего продукта amazing.com, но подтверждённых деталей об этом продукте в открытых источниках недостаточно, чтобы дать точную рекомендацию сверх базовой политики allow/deny по umолчанию.

• Какие зоны чаще трогает: данных о типичном паттерне URL не найдено;
• Что ищет: по названию токена — вероятно, контент для некоего поискового индекса;
• Чем отличается от браузерного пользователя: нет нормальной сессии, как и у большинства ботов в этой категории.

Отдельно стоит помнить: суффикс «Test» в названии обычно указывает на тестовую/staging-версию продукта, а не на промышленный краулер, который заслуживает такого же доверия, как хорошо задокументированные AI- и поисковые боты. Присутствие тестового токена в публичном трафике на сторонние сайты само по себе не добавляет уверенности в легитимности использования.

3. Нагрузка и риски именно для AmazingTest-SearchBot

Отдельной строки в публичной сводке top-bot TrafficVeil у AmazingTest-SearchBot может не быть. Поскольку это тестовый вариант с минимумом публичной документации, риск неопределённости здесь выше, чем для хорошо задокументированных ботов: нет ни официального объяснения назначения, ни списка IP, ни явной репутации, на которую можно было бы опереться при оценке.

4. Как найти AmazingTest-SearchBot в логах

Не ищите «просто ботов» — ищите конкретный токен AmazingTest-SearchBot и рядом смотрите на основной токен семейства, а также отделяйте его от похожего по написанию, но не связанного Amzn-SearchBot.

# Базовый поиск
grep -i "AmazingTest-SearchBot" /var/log/nginx/access.log

# Проверить, встречается ли рядом основной токен семейства
grep -iE "Amazing-SearchBot|AmazingTest-SearchBot" /var/log/nginx/access.log | wc -l

# Убедиться, что это не спутано с настоящим Amazon-ботом
grep -i "Amzn-SearchBot" /var/log/nginx/access.log | wc -l

# Топ URL, которые вычитывает бот
grep -i "AmazingTest-SearchBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "AmazingTest-SearchBot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "AmazingTest-SearchBot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP для этого семейства не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + набор URL, и обязательно отличайте от Amzn-SearchBot — совпадение первых букв в названии само по себе ничего не доказывает ни в одну, ни в другую сторону.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для AmazingTest-SearchBot

User-agent: AmazingTest-SearchBot
Disallow: /

Важно: политика та же, что и для основного токена Amazing-SearchBot — без явной пользы ставьте deny по умолчанию. Учитывая отсутствие публичной документации о соблюдении robots.txt, дублируйте запрет на уровне сервера.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "AmazingTest-SearchBot") {
    return 403;
}

TrafficVeil

• Найдите AmazingTest-SearchBot в ботах домена или в /system/bots;
• Deny по умолчанию — как и для основного токена семейства, без задокументированной явной пользы;
• После изменения сверьте логи и убедитесь, что видимость в Google не затронута — семейство Amazing-SearchBot с Google не связано.

7. Рекомендации: что делать с AmazingTest-SearchBot

• Deny по умолчанию — без явной пользы токен не заслуживает доверия, тем более что это тестовая версия с минимумом публичной информации;
• На Google это правило не влияет;
• Не путайте с Amzn-SearchBot — это разные операторы, и правило для одного не должно случайно затронуть другой;
• Если решите оставить allow — фиксируйте отдельно, поскольку явной задокументированной причины для этого пока не найдено.

8. С кем не путать AmazingTest-SearchBot

9. Стратегия allow/deny для AmazingTest-SearchBot