contxbot — не безымянный краулер «неясной цели», а официально задокументированный бот Amazon: он читает содержимое страницы, чтобы подбирать релевантные товарные рекомендации для Native Shopping Ads — рекламного формата Amazon Associates (партнёрской программы Amazon), который сайт мог установить сам. Это тот же паттерн, что уже разбирался с MainWP, BlogVault и Convermax: прежде чем считать бота нежелательным, стоит проверить, не подключён ли на сайте соответствующий рекламный виджет Amazon.
1. Что такое contxbot на самом деле
Amazon Native Shopping Ads — формат объявлений в рамках партнёрской программы Amazon Associates, который сайт-издатель может встроить в свои страницы. Один из вариантов этого формата, Recommendation Ads, работает так: рекламный блок определяет ключевые слова в контенте страницы и сопоставляет их с товарами каталога Amazon, комбинируя контекст страницы с данными о покупательском поведении, чтобы показать посетителю релевантные и популярные товары. Чтобы это работало, боту нужно прочитать и проиндексировать содержимое страницы — этим и занимается contxbot.
Официальный User-Agent, прямо задокументированный Amazon:
Mozilla/5.0 (compatible;contxbot/1.0)Официальная страница поддержки Amazon Associates по адресу affiliate-program.amazon.com прямо описывает бота и даже приводит готовый пример правила robots.txt для тех, кто хочет заблокировать его — с явным предупреждением, что для работы Recommendation Ads доступ боту нужен.
| Параметр | Значение |
| Название | contxbot (Amazon Contxbot) |
| Оператор | Amazon — официально подтверждено, с прямой ссылкой на документацию Amazon Associates |
| Роль | Индексация содержимого страницы для подбора релевантных товарных рекомендаций в рекламном формате Native Shopping Ads (Recommendation Ads) |
| User-Agent / паттерн | Mozilla/5.0 (compatible;contxbot/1.0) |
| Официальная документация | affiliate-program.amazon.com/help/node/topic/GT98G5PPRERNVZ2C |
| Кто обычно инициирует | Сайт-издатель, установивший у себя блок Amazon Native Shopping Ads / Recommendation Ads в рамках партнёрской программы Associates |
| Категория (Cloudflare Radar) | Advertising & Marketing |
| robots.txt | Официально задокументированное правило для блокировки: User-agent: contxbot / Disallow: / — файл здесь реально работает |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы — статус стоит уточнить для сайтов с рекламой Amazon Associates (см. раздел 8) |
2. Зачем contxbot приходит на сайт
- сайт использует рекламный блок Amazon Native Shopping Ads (в частности, формат Recommendation Ads), и боту нужно проиндексировать контент, чтобы подбирать релевантные товары;
- обновление рекомендаций по мере изменения содержимого страницы;
- если сайт не использует такую рекламу Amazon — легитимного объяснения для целенаправленного обхода этим ботом заметно меньше, и стоит переходить к обычной логике «нет пользы».
Типичный кейс: сайт-издатель с партнёрскими ссылками или рекламой Amazon регулярно посещается contxbot — прежде чем реагировать как на нежелательный трафик, стоит проверить, установлен ли на сайте блок Native Shopping Ads.
3. Нагрузка и риски
Если сайт использует Recommendation Ads — прямая польза очевидна: без индексации контента этим ботом рекламный блок не сможет корректно подбирать релевантные товары, а значит будет хуже монетизироваться. Блокировка в этом случае вредит собственной рекламной функциональности, а не защищает от постороннего трафика.
Если сайт точно не использует эту рекламу Amazon, а бот всё равно заходит — прямой пользы нет, и стандартная логика «нежелательный, если пользы нет» применима без ограничений; официальная документация Amazon сама предлагает готовое правило для этого случая.
4. Как найти contxbot в логах
# Базовый поиск
grep -i "contxbot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Проверка: установлен ли на странице код блока Native Shopping Ads
grep -rl "AmazonAdSystem\|amazon-adsystem" /path/to/site/templates/ 2>/dev/nullВерификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов конкретно для contxbot не найдено — для решения allow/deny смотрите связку UA + IP/ASN (принадлежность к инфраструктуре Amazon) + факт наличия на сайте блока Native Shopping Ads:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для contxbot
# Жёсткий запрет — официальный пример от самого Amazon
User-agent: contxbot
Disallow: /
# Разрешить всё — необходимо, если сайт использует Recommendation Ads
User-agent: contxbot
Allow: /Важно: правило выше — прямая цитата из официальной документации Amazon Associates, с явным предупреждением, что удаление доступа сломает работу Recommendation Ads на сайте, если этот формат используется.
6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "contxbot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=contxbot:10m rate=10r/m;
location / {
if ($http_user_agent ~* "contxbot") {
limit_req zone=contxbot burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} contxbot [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- прежде чем блокировать — проверьте, не установлен ли на сайте блок Amazon Native Shopping Ads / Recommendation Ads;
- если используется — allow, блокировка ухудшит монетизацию через эту рекламу;
- если сайт точно не использует эту рекламу Amazon — Disallow и запрет в TrafficVeil обоснованы, здесь можно ориентироваться прямо на официальную рекомендацию Amazon;
- после изменения сверьте логи и, если применимо, убедитесь, что рекламный блок (если используется) продолжает корректно подбирать товары.
7. Что делать: короткий алгоритм
- Сайт использует Amazon Native Shopping Ads / Recommendation Ads — allow, это часть собственной монетизации;
- Сайт не использует эту рекламу Amazon — Disallow + запрет в TrafficVeil, официально предложено самим Amazon;
- Неясно, используется ли реклама — проверьте код страниц на наличие скриптов Amazon Associates перед принятием решения;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Базовая пометка «нежелательный» подходит для сайтов, не использующих рекламу Amazon Associates, но не учитывает сценарий, когда это трафик собственного рекламного блока, за который сайт получает партнёрский доход. Рекомендую добавить в саму запись явную пометку «сначала проверьте, не используется ли на сайте Amazon Native Shopping Ads» — по аналогии с уже сформулированными статьями про MainWP, BlogVault и Convermax.
| Бот / сосед | Кластер | Комментарий |
| ConvermaxBot | Прочие краулеры и сервисы (см. отдельную статью) | Та же логика «сначала проверьте, не ваш ли это инструмент», но для поискового виджета e-commerce, а не рекламы Amazon |
| Amazon-Advertising-ad-standards-bot | Рекламные и AdTech-боты | Другой бот того же оператора Amazon, но для проверки соответствия рекламных материалов стандартам, а не для подбора товарных рекомендаций |
| Rufus-Bot | Не в базе TrafficVeil, но стоит знать | Ещё один бот Amazon — краулит веб широко для обучения новых версий модели, принципиально другая задача |
| DataForSeoBot | SEO и backlink-краулеры | Настоящий сторонний SEO-краулер без сценария «это ваш собственный инструмент» — для контраста |
9. Стратегия allow/deny для contxbot
| Ситуация | Действие |
| Сайт использует Amazon Native Shopping Ads / Recommendation Ads | Allow — собственная рекламная монетизация |
| Сайт не использует эту рекламу | Disallow + запрет в TrafficVeil — рекомендация самого Amazon |
| Неясно, используется ли реклама | Проверить код страниц на скрипты Amazon Associates |
| Сайт недавно отказался от Amazon Associates | Проверить, не остался ли код рекламного блока и, соответственно, смысл в allow |
| Подозрение на подделку UA | Проверять IP/ASN на принадлежность инфраструктуре Amazon |