Боты6 мин чтения·23 августа 2026 г.·обновлено 19 ноября 2026 г.

Contxbot: возможно, ваша реклама Amazon Associates

contxbot — официально задокументированный бот Amazon, который индексирует контент страницы для подбора товарных рекомендаций в рекламном блоке Native Shopping Ads, и если сайт использует эту рекламу, блокировка ударит по собственной монетизации. Разбираемся, почему первый шаг здесь — проверить наличие рекламного кода Amazon на сайте, и приводим официальный пример правила robots.txt прямо от самого Amazon.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота contxbot: нежелательный прочие краулеры и сервисы

contxbot — не безымянный краулер «неясной цели», а официально задокументированный бот Amazon: он читает содержимое страницы, чтобы подбирать релевантные товарные рекомендации для Native Shopping Ads — рекламного формата Amazon Associates (партнёрской программы Amazon), который сайт мог установить сам. Это тот же паттерн, что уже разбирался с MainWP, BlogVault и Convermax: прежде чем считать бота нежелательным, стоит проверить, не подключён ли на сайте соответствующий рекламный виджет Amazon.

1. Что такое contxbot на самом деле

Amazon Native Shopping Ads — формат объявлений в рамках партнёрской программы Amazon Associates, который сайт-издатель может встроить в свои страницы. Один из вариантов этого формата, Recommendation Ads, работает так: рекламный блок определяет ключевые слова в контенте страницы и сопоставляет их с товарами каталога Amazon, комбинируя контекст страницы с данными о покупательском поведении, чтобы показать посетителю релевантные и популярные товары. Чтобы это работало, боту нужно прочитать и проиндексировать содержимое страницы — этим и занимается contxbot.

Официальный User-Agent, прямо задокументированный Amazon:

Mozilla/5.0 (compatible;contxbot/1.0)

Официальная страница поддержки Amazon Associates по адресу affiliate-program.amazon.com прямо описывает бота и даже приводит готовый пример правила robots.txt для тех, кто хочет заблокировать его — с явным предупреждением, что для работы Recommendation Ads доступ боту нужен.

Параметр Значение
Название contxbot (Amazon Contxbot)
Оператор Amazon — официально подтверждено, с прямой ссылкой на документацию Amazon Associates
Роль Индексация содержимого страницы для подбора релевантных товарных рекомендаций в рекламном формате Native Shopping Ads (Recommendation Ads)
User-Agent / паттерн Mozilla/5.0 (compatible;contxbot/1.0)
Официальная документация affiliate-program.amazon.com/help/node/topic/GT98G5PPRERNVZ2C
Кто обычно инициирует Сайт-издатель, установивший у себя блок Amazon Native Shopping Ads / Recommendation Ads в рамках партнёрской программы Associates
Категория (Cloudflare Radar) Advertising & Marketing
robots.txt Официально задокументированное правило для блокировки: User-agent: contxbot / Disallow: / — файл здесь реально работает
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы — статус стоит уточнить для сайтов с рекламой Amazon Associates (см. раздел 8)

2. Зачем contxbot приходит на сайт

  • сайт использует рекламный блок Amazon Native Shopping Ads (в частности, формат Recommendation Ads), и боту нужно проиндексировать контент, чтобы подбирать релевантные товары;
  • обновление рекомендаций по мере изменения содержимого страницы;
  • если сайт не использует такую рекламу Amazon — легитимного объяснения для целенаправленного обхода этим ботом заметно меньше, и стоит переходить к обычной логике «нет пользы».

Типичный кейс: сайт-издатель с партнёрскими ссылками или рекламой Amazon регулярно посещается contxbot — прежде чем реагировать как на нежелательный трафик, стоит проверить, установлен ли на сайте блок Native Shopping Ads.

3. Нагрузка и риски

Если сайт использует Recommendation Ads — прямая польза очевидна: без индексации контента этим ботом рекламный блок не сможет корректно подбирать релевантные товары, а значит будет хуже монетизироваться. Блокировка в этом случае вредит собственной рекламной функциональности, а не защищает от постороннего трафика.

Если сайт точно не использует эту рекламу Amazon, а бот всё равно заходит — прямой пользы нет, и стандартная логика «нежелательный, если пользы нет» применима без ограничений; официальная документация Amazon сама предлагает готовое правило для этого случая.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти contxbot в логах

# Базовый поиск
grep -i "contxbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "contxbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка: установлен ли на странице код блока Native Shopping Ads
grep -rl "AmazonAdSystem\|amazon-adsystem" /path/to/site/templates/ 2>/dev/null

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов конкретно для contxbot не найдено — для решения allow/deny смотрите связку UA + IP/ASN (принадлежность к инфраструктуре Amazon) + факт наличия на сайте блока Native Shopping Ads:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для contxbot

# Жёсткий запрет — официальный пример от самого Amazon
User-agent: contxbot
Disallow: /

# Разрешить всё — необходимо, если сайт использует Recommendation Ads
User-agent: contxbot
Allow: /

Важно: правило выше — прямая цитата из официальной документации Amazon Associates, с явным предупреждением, что удаление доступа сломает работу Recommendation Ads на сайте, если этот формат используется.

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "contxbot") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_b9830e0cb29d_key {
    default "";
    "~*contxbot" $binary_remote_addr;
}
limit_req_zone $tv_ng_b9830e0cb29d_key zone=tv_ng_b9830e0cb29d:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_b9830e0cb29d burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} contxbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • прежде чем блокировать — проверьте, не установлен ли на сайте блок Amazon Native Shopping Ads / Recommendation Ads;
  • если используется — allow, блокировка ухудшит монетизацию через эту рекламу;
  • если сайт точно не использует эту рекламу Amazon — Disallow и запрет в TrafficVeil обоснованы, здесь можно ориентироваться прямо на официальную рекомендацию Amazon;
  • после изменения сверьте логи и, если применимо, убедитесь, что рекламный блок (если используется) продолжает корректно подбирать товары.

7. Что делать: короткий алгоритм

  • Сайт использует Amazon Native Shopping Ads / Recommendation Ads — allow, это часть собственной монетизации;
  • Сайт не использует эту рекламу Amazon — Disallow + запрет в TrafficVeil, официально предложено самим Amazon;
  • Неясно, используется ли реклама — проверьте код страниц на наличие скриптов Amazon Associates перед принятием решения;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Базовая пометка «нежелательный» подходит для сайтов, не использующих рекламу Amazon Associates, но не учитывает сценарий, когда это трафик собственного рекламного блока, за который сайт получает партнёрский доход. Рекомендую добавить в саму запись явную пометку «сначала проверьте, не используется ли на сайте Amazon Native Shopping Ads» — по аналогии с уже сформулированными статьями про MainWP, BlogVault и Convermax.

Бот / сосед Кластер Комментарий
ConvermaxBot Прочие краулеры и сервисы (см. отдельную статью) Та же логика «сначала проверьте, не ваш ли это инструмент», но для поискового виджета e-commerce, а не рекламы Amazon
Amazon-Advertising-ad-standards-bot Рекламные и AdTech-боты Другой бот того же оператора Amazon, но для проверки соответствия рекламных материалов стандартам, а не для подбора товарных рекомендаций
Rufus-Bot Не в базе TrafficVeil, но стоит знать Ещё один бот Amazon — краулит веб широко для обучения новых версий модели, принципиально другая задача
DataForSeoBot SEO и backlink-краулеры Настоящий сторонний SEO-краулер без сценария «это ваш собственный инструмент» — для контраста

9. Стратегия allow/deny для contxbot

Ситуация Действие
Сайт использует Amazon Native Shopping Ads / Recommendation Ads Allow — собственная рекламная монетизация
Сайт не использует эту рекламу Disallow + запрет в TrafficVeil — рекомендация самого Amazon
Неясно, используется ли реклама Проверить код страниц на скрипты Amazon Associates
Сайт недавно отказался от Amazon Associates Проверить, не остался ли код рекламного блока и, соответственно, смысл в allow
Подозрение на подделку UA Проверять IP/ASN на принадлежность инфраструктуре Amazon
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

contxbot — это сторонний бот, который сканирует сайт без разрешения?
Нет, это официально задокументированный бот Amazon, который индексирует контент для рекламного формата Native Shopping Ads.
Как быстро проверить, легитимен ли этот трафик на конкретном сайте?
Проверить, установлен ли на страницах код блока Amazon Native Shopping Ads (Recommendation Ads).
Что произойдёт, если заблокировать contxbot на сайте с такой рекламой?
Рекламный блок перестанет корректно подбирать релевантные товарные рекомендации, что ухудшит монетизацию.
Есть ли официальная документация по этому боту?
Да, Amazon прямо описывает его на странице поддержки партнёрской программы Associates, включая готовый пример правила robots.txt.
Что если сайт точно не использует рекламу Amazon?
Тогда можно смело блокировать — это официально предложенный самим Amazon вариант для тех, кому доступ не нужен.
Соблюдает ли contxbot правила robots.txt?
Да, это подтверждено самой документацией Amazon — здесь файл реально работает, а не просто пожелание.
#contxbot#Amazon Associates#Native Shopping Ads#партнёрская реклама#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота Amazon Kendra: легитимный прочие краулеры и сервисы
Боты·6 мин

Amazon Kendra: возможно, ваш корпоративный поиск

Amazon Kendra — реальный сервис корпоративного поиска AWS, и его коннектор Web Crawler обходит только те конкретные URL, которые явно указал клиент AWS при настройке источника данных — то есть это не свободный обход, а целевая индексация по чьему-то заданию. Разбираемся, почему первый шаг здесь — проверить, не настроен ли на вашем сайте (или у партнёра) такой поисковый индекс, прежде чем блокировать бота как постороннего.

Читать
Иллюстрация бота ActiveComply: сканер соответствия и контента
Боты·6 мин

ActiveComply: возможно, ваш регуляторный мониторинг

ActiveComply — реальная compliance-платформа для банков, кредитных союзов и ипотечных брокеров, и если этот бот заходит на сайт из финансовой отрасли, это почти всегда означает подключённый регуляторный мониторинг WebCompass. Разбираемся, почему первый шаг здесь — не техническая блокировка, а проверка у compliance-отдела, и почему для сайтов вне финансовой ниши логика остаётся прежней.

Читать
Уникальная иллюстрация бота BlogVault: легитимный прочие краулеры и сервисы
Боты·6 мин

BlogVault: скорее всего, ваша система резервного копирования

BlogVault — реальный сервис резервного копирования WordPress, который сайт подключает сознательно, а не сторонний краулер, и официальная верификация здесь строится на связке User-Agent и обратного DNS. Разбираемся, почему первый шаг при появлении этого бота в логах — не техническая блокировка, а простой вопрос о том, чей это аккаунт, и что делать, если подключение осталось от прежнего подрядчика.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil