CXensebot: скорее всего, ваша аналитика или paywall

cXensebot — ещё один случай из серии «это, вероятно, ваш собственный инструмент», только для аналитики и SEO-мониторинга публикаторов. Оператор — норвежская компания Cxense ASA (Осло, основана в 2010 году), в 2019 году приобретённая платформой Piano — крупным игроком в сфере paywall и подписочной аналитики для СМИ. По официальным данным Cloudflare Radar, cXensebot выполняет мониторинг и анализ SEO именно для страниц клиентов сервиса, а не случайных сторонних сайтов.

1. Что такое cXensebot на самом деле

Cxense изначально создавала платформу для построения профилей интересов посетителей сайта и персонализации рекламы и контента на основе этих профилей — продуктовая линейка включала Cxense Insight (аналитика), Cxense DMP, Cxense Content, Cxense Advertising и Cxense Search. После поглощения Piano технология и документация продолжают поддерживаться уже под брендом Piano («CX Platform»).

Официальный User-Agent:

Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US) AppleWebKit/537.36 (KHTML, like Gecko) cXensebot/2.0; +http://www.cxense.com/bot.html Safari/533.3

Официальная документация краулера (сейчас размещена в базе знаний Piano) описывает продуманное, аккуратное поведение: краулер рендерит страницу и загружает внешние ресурсы, но намеренно блокирует загрузку сторонних аналитических тегов — чтобы не искажать счётчики посещаемости на клиентском сайте — и медленных или недоступных внешних доменов, чтобы не терять в скорости обхода. Разработчикам клиентских сайтов также предлагается штатный способ исключить конкретный код из выполнения краулером через JS-проверку токена cxensebot в User-Agent.

2. Зачем cXensebot приходит на сайт

• если сайт — клиент Piano/Cxense (paywall, аналитика, персонализация контента) — регулярный SEO-мониторинг и анализ страниц в рамках подключённого сервиса;
• для сайтов с paywall у краулера есть отдельный механизм доступа к защищённому контенту — это часть штатной интеграции, а не обход защиты;
• обновление данных для персонализации и аналитических дашбордов клиента.

Типичный кейс: издание или медиа-сайт с подпиской/paywall регулярно посещается cXensebot — прежде чем реагировать как на нежелательный трафик, стоит проверить, не подключён ли сайт к Piano/Cxense.

3. Нагрузка и риски

Если сайт — клиент сервиса, прямая польза очевидна: данные питают аналитику и персонализацию, за которые сайт платит. Продуманная политика краулера (пропуск сторонних аналитических тегов, обработка медленных доменов) говорит о зрелой, давно работающей инфраструктуре, а не о случайном сборщике данных.

Если сайт точно не подключён к Piano/Cxense, а бот всё равно заходит — по классификации Cloudflare Radar его поведение описывается как SEO-мониторинг клиентских страниц, что подразумевает: скорее всего, кто-то из клиентов сервиса отслеживает именно ваш сайт как часть своей аналитики (например, конкурентный мониторинг), а не происходит бесцельный сбор данных.

4. Как найти cXensebot в логах

# Базовый поиск
grep -i "cxensebot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. В отличие от многих ботов в этой энциклопедии, здесь есть рабочий способ проверки через обратный DNS — легитимные запросы резолвятся в поддомен вида *.cxensebot.com:

IP="1.2.3.4"
dig +short -x "$IP"
# Ожидаем что-то вида bot-X-X-X-X.cxensebot.com

5. robots.txt для cXensebot

# Жёсткий запрет
User-agent: cXensebot
Disallow: /

# Разрешить всё — необходимо, если сайт использует аналитику/paywall Piano
User-agent: cXensebot
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "cxensebot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=cxensebot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "cxensebot") {
        limit_req zone=cxensebot burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} cxensebot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• прежде чем блокировать — проверьте, не подключён ли сайт к аналитике или paywall-платформе Piano/Cxense;
• если подключён — allow, блокировка сломает функциональность, за которую сайт платит;
• если сайт точно не клиент — Disallow и запрет в TrafficVeil обоснованы, здесь применима стандартная логика для стороннего конкурентного мониторинга;
• после изменения сверьте логи и, если применимо, убедитесь, что собственная аналитика (если используется) продолжает работать.

7. Что делать: короткий алгоритм

• Первый шаг: проверить, не подключён ли сайт к Piano/Cxense (аналитика, персонализация, paywall);
• Подключён — allow, это собственная (или клиентская) инфраструктура аналитики;
• Не подключён — Disallow + запрет в TrafficVeil, здесь бот, вероятно, отслеживает сайт в интересах стороннего клиента сервиса;
• Сайт недавно отказался от Piano/Cxense — проверьте, не осталось ли старое подключение активным;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. С кем не путать cXensebot

9. Стратегия allow/deny для cXensebot