Боты7 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

CXensebot: скорее всего, ваша аналитика или paywall

cXensebot принадлежит норвежской Cxense ASA, ныне части платформы Piano для paywall и подписочной аналитики СМИ, и по данным Cloudflare Radar выполняет мониторинг именно клиентских страниц сервиса. Разбираемся, почему первый шаг здесь — проверить, не подключён ли сайт к Piano/Cxense, и как реально верифицировать подлинность запроса через обратный DNS.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота cXensebot: нежелательный прочие краулеры и сервисы

cXensebot — ещё один случай из серии «это, вероятно, ваш собственный инструмент», только для аналитики и SEO-мониторинга публикаторов. Оператор — норвежская компания Cxense ASA (Осло, основана в 2010 году), в 2019 году приобретённая платформой Piano — крупным игроком в сфере paywall и подписочной аналитики для СМИ. По официальным данным Cloudflare Radar, cXensebot выполняет мониторинг и анализ SEO именно для страниц клиентов сервиса, а не случайных сторонних сайтов.

1. Что такое cXensebot на самом деле

Cxense изначально создавала платформу для построения профилей интересов посетителей сайта и персонализации рекламы и контента на основе этих профилей — продуктовая линейка включала Cxense Insight (аналитика), Cxense DMP, Cxense Content, Cxense Advertising и Cxense Search. После поглощения Piano технология и документация продолжают поддерживаться уже под брендом Piano («CX Platform»).

Официальный User-Agent:

Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US) AppleWebKit/537.36 (KHTML, like Gecko) cXensebot/2.0; +http://www.cxense.com/bot.html Safari/533.3

Официальная документация краулера (сейчас размещена в базе знаний Piano) описывает продуманное, аккуратное поведение: краулер рендерит страницу и загружает внешние ресурсы, но намеренно блокирует загрузку сторонних аналитических тегов — чтобы не искажать счётчики посещаемости на клиентском сайте — и медленных или недоступных внешних доменов, чтобы не терять в скорости обхода. Разработчикам клиентских сайтов также предлагается штатный способ исключить конкретный код из выполнения краулером через JS-проверку токена cxensebot в User-Agent.

Параметр Значение
Название cXensebot
Оператор Cxense ASA (Норвегия, основана в 2010 году), с 2019 года — часть платформы Piano
Роль SEO-мониторинг и анализ страниц клиентов сервиса Piano/Cxense — не случайный сторонний обход
User-Agent / паттерн cXensebot/2.0; +http://www.cxense.com/bot.html
Верификация Обратный DNS резолвится в поддомен вида *.cxensebot.com — конкретный пример из открытых данных: bot-5-9-190-107.cxensebot.com
Особенности поведения Намеренно не подгружает сторонние аналитические теги (чтобы не искажать статистику клиентского сайта); умеет распознавать «мягкие 404» (страница отдаёт 200 вместо ожидаемого статуса ошибки); имеет механизм доступа к paywall-контенту для клиентов сервиса
Категория (Cloudflare Radar) Прямое управление оператором («Direct»)
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы

2. Зачем cXensebot приходит на сайт

  • если сайт — клиент Piano/Cxense (paywall, аналитика, персонализация контента) — регулярный SEO-мониторинг и анализ страниц в рамках подключённого сервиса;
  • для сайтов с paywall у краулера есть отдельный механизм доступа к защищённому контенту — это часть штатной интеграции, а не обход защиты;
  • обновление данных для персонализации и аналитических дашбордов клиента.

Типичный кейс: издание или медиа-сайт с подпиской/paywall регулярно посещается cXensebot — прежде чем реагировать как на нежелательный трафик, стоит проверить, не подключён ли сайт к Piano/Cxense.

3. Нагрузка и риски

Если сайт — клиент сервиса, прямая польза очевидна: данные питают аналитику и персонализацию, за которые сайт платит. Продуманная политика краулера (пропуск сторонних аналитических тегов, обработка медленных доменов) говорит о зрелой, давно работающей инфраструктуре, а не о случайном сборщике данных.

Если сайт точно не подключён к Piano/Cxense, а бот всё равно заходит — по классификации Cloudflare Radar его поведение описывается как SEO-мониторинг клиентских страниц, что подразумевает: скорее всего, кто-то из клиентов сервиса отслеживает именно ваш сайт как часть своей аналитики (например, конкурентный мониторинг), а не происходит бесцельный сбор данных.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти cXensebot в логах

# Базовый поиск
grep -i "cxensebot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. В отличие от многих ботов в этой энциклопедии, здесь есть рабочий способ проверки через обратный DNS — легитимные запросы резолвятся в поддомен вида *.cxensebot.com:

IP="1.2.3.4"
dig +short -x "$IP"
# Ожидаем что-то вида bot-X-X-X-X.cxensebot.com

5. robots.txt для cXensebot

# Жёсткий запрет
User-agent: cXensebot
Disallow: /

# Разрешить всё — необходимо, если сайт использует аналитику/paywall Piano
User-agent: cXensebot
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "cxensebot") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_6cbf7798aeac_key {
    default "";
    "~*cxensebot" $binary_remote_addr;
}
limit_req_zone $tv_ng_6cbf7798aeac_key zone=tv_ng_6cbf7798aeac:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_6cbf7798aeac burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} cxensebot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • прежде чем блокировать — проверьте, не подключён ли сайт к аналитике или paywall-платформе Piano/Cxense;
  • если подключён — allow, блокировка сломает функциональность, за которую сайт платит;
  • если сайт точно не клиент — Disallow и запрет в TrafficVeil обоснованы, здесь применима стандартная логика для стороннего конкурентного мониторинга;
  • после изменения сверьте логи и, если применимо, убедитесь, что собственная аналитика (если используется) продолжает работать.

7. Что делать: короткий алгоритм

  • Первый шаг: проверить, не подключён ли сайт к Piano/Cxense (аналитика, персонализация, paywall);
  • Подключён — allow, это собственная (или клиентская) инфраструктура аналитики;
  • Не подключён — Disallow + запрет в TrafficVeil, здесь бот, вероятно, отслеживает сайт в интересах стороннего клиента сервиса;
  • Сайт недавно отказался от Piano/Cxense — проверьте, не осталось ли старое подключение активным;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. С кем не путать cXensebot

Бот / сосед Кластер Комментарий
Cincraw Прочие краулеры и сервисы (см. отдельную статью) Похожая продуманная политика — тоже намеренно избегает искажения аналитики клиентского сайта
Silktide Прочие краулеры и сервисы Та же логика «скорее всего, ваш собственный подключённый сервис», но для веб-governance, а не аналитики/paywall
Content King Требует пересмотра (см. отдельную статью) Тоже платформа мониторинга для подключённых клиентских сайтов
DataForSeoBot SEO и backlink-краулеры Настоящий сторонний SEO-краулер без сценария «это ваш собственный инструмент» — для контраста

9. Стратегия allow/deny для cXensebot

Ситуация Действие
Сайт использует аналитику/paywall Piano или Cxense Allow — собственная подключённая инфраструктура
Сайт точно не клиент сервиса Disallow + запрет в TrafficVeil
Неясно, подключён ли сервис Проверить настройки платформы/CMS на предмет интеграции Piano/Cxense
Сайт недавно отказался от сервиса Проверить, не осталось ли старое подключение активным
Подозрение на подделку UA Проверять через обратный DNS на поддомен *.cxensebot.com, а не только по строке UA
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

cXensebot — это сторонний бот, который сканирует сайт без разрешения?
Скорее всего нет — по данным Cloudflare Radar это мониторинг именно клиентских страниц платформы Piano/Cxense, к которой сайт мог быть подключён сознательно.
Как быстро проверить, легитимен ли этот трафик?
Проверить, не используется ли на сайте аналитика, персонализация или paywall от Piano или Cxense.
Как реально верифицировать подлинность запроса?
Через обратный DNS — легитимные запросы резолвятся в поддомен вида *.cxensebot.com.
Почему этот краулер считается более аккуратным, чем многие другие?
Он намеренно не подгружает сторонние аналитические теги, чтобы не искажать статистику посещаемости клиентского сайта, и умеет распознавать «мягкие 404».
Может ли этот бот получить доступ к контенту за paywall?
Да, у него есть штатный механизм доступа к защищённому контенту для сайтов-клиентов сервиса — это часть интеграции, а не обход защиты.
Что если сайт точно не подключён к Piano или Cxense?
Тогда, вероятно, кто-то из клиентов сервиса отслеживает ваш сайт в рамках своей аналитики или конкурентного мониторинга — здесь применима обычная логика блокировки.
#cXensebot#Cxense#Piano#paywall#аналитика#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота BlogVault: легитимный прочие краулеры и сервисы
Боты·6 мин

BlogVault: скорее всего, ваша система резервного копирования

BlogVault — реальный сервис резервного копирования WordPress, который сайт подключает сознательно, а не сторонний краулер, и официальная верификация здесь строится на связке User-Agent и обратного DNS. Разбираемся, почему первый шаг при появлении этого бота в логах — не техническая блокировка, а простой вопрос о том, чей это аккаунт, и что делать, если подключение осталось от прежнего подрядчика.

Читать
Уникальная иллюстрация бота Chirp: легитимный прочие краулеры и сервисы
Боты·6 мин

Chirp: скорее всего, ваш аптайм-мониторинг

Chirp принадлежит не безымянному сервису, а Binary Canary — сервису мониторинга доступности сайтов, работающему с 2010 года, и в большинстве случаев его подключает сам владелец сайта, чтобы получать уведомления о падениях. Разбираемся, почему регулярный, cron-подобный паттерн запросов здесь ожидаемое поведение, а не тревожный сигнал, и что делать, если подключение осталось от прежнего подрядчика.

Читать
Уникальная иллюстрация бота MainWP: легитимный прочие краулеры и сервисы
Боты·6 мин

MainWP в логах: скорее всего, ваша же панель управления

Плагин MainWP Child по конструкции работает только с одной привязанной панелью — при подключении генерируется пара криптографических ключей, и весь дальнейший обмен идёт по аутентифицированному каналу. Разбираемся, почему это значит, что трафик MainWP на сайте почти всегда исходит от вас самих или вашего агентства, и как за один шаг проверить легитимность вместо привычного анализа ASN.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil