Contxbot: возможно, ваша реклама Amazon Associates

contxbot — не безымянный краулер «неясной цели», а официально задокументированный бот Amazon: он читает содержимое страницы, чтобы подбирать релевантные товарные рекомендации для Native Shopping Ads — рекламного формата Amazon Associates (партнёрской программы Amazon), который сайт мог установить сам. Это тот же паттерн, что уже разбирался с MainWP, BlogVault и Convermax: прежде чем считать бота нежелательным, стоит проверить, не подключён ли на сайте соответствующий рекламный виджет Amazon.

1. Что такое contxbot на самом деле

Amazon Native Shopping Ads — формат объявлений в рамках партнёрской программы Amazon Associates, который сайт-издатель может встроить в свои страницы. Один из вариантов этого формата, Recommendation Ads, работает так: рекламный блок определяет ключевые слова в контенте страницы и сопоставляет их с товарами каталога Amazon, комбинируя контекст страницы с данными о покупательском поведении, чтобы показать посетителю релевантные и популярные товары. Чтобы это работало, боту нужно прочитать и проиндексировать содержимое страницы — этим и занимается contxbot.

Официальный User-Agent, прямо задокументированный Amazon:

Mozilla/5.0 (compatible;contxbot/1.0)

Официальная страница поддержки Amazon Associates по адресу affiliate-program.amazon.com прямо описывает бота и даже приводит готовый пример правила robots.txt для тех, кто хочет заблокировать его — с явным предупреждением, что для работы Recommendation Ads доступ боту нужен.

2. Зачем contxbot приходит на сайт

• сайт использует рекламный блок Amazon Native Shopping Ads (в частности, формат Recommendation Ads), и боту нужно проиндексировать контент, чтобы подбирать релевантные товары;
• обновление рекомендаций по мере изменения содержимого страницы;
• если сайт не использует такую рекламу Amazon — легитимного объяснения для целенаправленного обхода этим ботом заметно меньше, и стоит переходить к обычной логике «нет пользы».

Типичный кейс: сайт-издатель с партнёрскими ссылками или рекламой Amazon регулярно посещается contxbot — прежде чем реагировать как на нежелательный трафик, стоит проверить, установлен ли на сайте блок Native Shopping Ads.

3. Нагрузка и риски

Если сайт использует Recommendation Ads — прямая польза очевидна: без индексации контента этим ботом рекламный блок не сможет корректно подбирать релевантные товары, а значит будет хуже монетизироваться. Блокировка в этом случае вредит собственной рекламной функциональности, а не защищает от постороннего трафика.

Если сайт точно не использует эту рекламу Amazon, а бот всё равно заходит — прямой пользы нет, и стандартная логика «нежелательный, если пользы нет» применима без ограничений; официальная документация Amazon сама предлагает готовое правило для этого случая.

4. Как найти contxbot в логах

# Базовый поиск
grep -i "contxbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка: установлен ли на странице код блока Native Shopping Ads
grep -rl "AmazonAdSystem\|amazon-adsystem" /path/to/site/templates/ 2>/dev/null

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов конкретно для contxbot не найдено — для решения allow/deny смотрите связку UA + IP/ASN (принадлежность к инфраструктуре Amazon) + факт наличия на сайте блока Native Shopping Ads:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для contxbot

# Жёсткий запрет — официальный пример от самого Amazon
User-agent: contxbot
Disallow: /

# Разрешить всё — необходимо, если сайт использует Recommendation Ads
User-agent: contxbot
Allow: /

Важно: правило выше — прямая цитата из официальной документации Amazon Associates, с явным предупреждением, что удаление доступа сломает работу Recommendation Ads на сайте, если этот формат используется.

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "contxbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=contxbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "contxbot") {
        limit_req zone=contxbot burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} contxbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• прежде чем блокировать — проверьте, не установлен ли на сайте блок Amazon Native Shopping Ads / Recommendation Ads;
• если используется — allow, блокировка ухудшит монетизацию через эту рекламу;
• если сайт точно не использует эту рекламу Amazon — Disallow и запрет в TrafficVeil обоснованы, здесь можно ориентироваться прямо на официальную рекомендацию Amazon;
• после изменения сверьте логи и, если применимо, убедитесь, что рекламный блок (если используется) продолжает корректно подбирать товары.

7. Что делать: короткий алгоритм

• Сайт использует Amazon Native Shopping Ads / Recommendation Ads — allow, это часть собственной монетизации;
• Сайт не использует эту рекламу Amazon — Disallow + запрет в TrafficVeil, официально предложено самим Amazon;
• Неясно, используется ли реклама — проверьте код страниц на наличие скриптов Amazon Associates перед принятием решения;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Базовая пометка «нежелательный» подходит для сайтов, не использующих рекламу Amazon Associates, но не учитывает сценарий, когда это трафик собственного рекламного блока, за который сайт получает партнёрский доход. Рекомендую добавить в саму запись явную пометку «сначала проверьте, не используется ли на сайте Amazon Native Shopping Ads» — по аналогии с уже сформулированными статьями про MainWP, BlogVault и Convermax.

9. Стратегия allow/deny для contxbot