cXensebot — ещё один случай из серии «это, вероятно, ваш собственный инструмент», только для аналитики и SEO-мониторинга публикаторов. Оператор — норвежская компания Cxense ASA (Осло, основана в 2010 году), в 2019 году приобретённая платформой Piano — крупным игроком в сфере paywall и подписочной аналитики для СМИ. По официальным данным Cloudflare Radar, cXensebot выполняет мониторинг и анализ SEO именно для страниц клиентов сервиса, а не случайных сторонних сайтов.
1. Что такое cXensebot на самом деле
Cxense изначально создавала платформу для построения профилей интересов посетителей сайта и персонализации рекламы и контента на основе этих профилей — продуктовая линейка включала Cxense Insight (аналитика), Cxense DMP, Cxense Content, Cxense Advertising и Cxense Search. После поглощения Piano технология и документация продолжают поддерживаться уже под брендом Piano («CX Platform»).
Официальный User-Agent:
Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US) AppleWebKit/537.36 (KHTML, like Gecko) cXensebot/2.0; +http://www.cxense.com/bot.html Safari/533.3
Официальная документация краулера (сейчас размещена в базе знаний Piano) описывает продуманное, аккуратное поведение: краулер рендерит страницу и загружает внешние ресурсы, но намеренно блокирует загрузку сторонних аналитических тегов — чтобы не искажать счётчики посещаемости на клиентском сайте — и медленных или недоступных внешних доменов, чтобы не терять в скорости обхода. Разработчикам клиентских сайтов также предлагается штатный способ исключить конкретный код из выполнения краулером через JS-проверку токена cxensebot в User-Agent.
| Параметр | Значение |
| Название | cXensebot |
| Оператор | Cxense ASA (Норвегия, основана в 2010 году), с 2019 года — часть платформы Piano |
| Роль | SEO-мониторинг и анализ страниц клиентов сервиса Piano/Cxense — не случайный сторонний обход |
| User-Agent / паттерн | cXensebot/2.0; +http://www.cxense.com/bot.html |
| Верификация | Обратный DNS резолвится в поддомен вида *.cxensebot.com — конкретный пример из открытых данных: bot-5-9-190-107.cxensebot.com |
| Особенности поведения | Намеренно не подгружает сторонние аналитические теги (чтобы не искажать статистику клиентского сайта); умеет распознавать «мягкие 404» (страница отдаёт 200 вместо ожидаемого статуса ошибки); имеет механизм доступа к paywall-контенту для клиентов сервиса |
| Категория (Cloudflare Radar) | Прямое управление оператором («Direct») |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
2. Зачем cXensebot приходит на сайт
- если сайт — клиент Piano/Cxense (paywall, аналитика, персонализация контента) — регулярный SEO-мониторинг и анализ страниц в рамках подключённого сервиса;
- для сайтов с paywall у краулера есть отдельный механизм доступа к защищённому контенту — это часть штатной интеграции, а не обход защиты;
- обновление данных для персонализации и аналитических дашбордов клиента.
Типичный кейс: издание или медиа-сайт с подпиской/paywall регулярно посещается cXensebot — прежде чем реагировать как на нежелательный трафик, стоит проверить, не подключён ли сайт к Piano/Cxense.
3. Нагрузка и риски
Если сайт — клиент сервиса, прямая польза очевидна: данные питают аналитику и персонализацию, за которые сайт платит. Продуманная политика краулера (пропуск сторонних аналитических тегов, обработка медленных доменов) говорит о зрелой, давно работающей инфраструктуре, а не о случайном сборщике данных.
Если сайт точно не подключён к Piano/Cxense, а бот всё равно заходит — по классификации Cloudflare Radar его поведение описывается как SEO-мониторинг клиентских страниц, что подразумевает: скорее всего, кто-то из клиентов сервиса отслеживает именно ваш сайт как часть своей аналитики (например, конкурентный мониторинг), а не происходит бесцельный сбор данных.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти cXensebot в логах
# Базовый поиск
grep -i "cxensebot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация. В отличие от многих ботов в этой энциклопедии, здесь есть рабочий способ проверки через обратный DNS — легитимные запросы резолвятся в поддомен вида *.cxensebot.com:
IP="1.2.3.4"
dig +short -x "$IP"
# Ожидаем что-то вида bot-X-X-X-X.cxensebot.com
5. robots.txt для cXensebot
# Жёсткий запрет
User-agent: cXensebot
Disallow: /
# Разрешить всё — необходимо, если сайт использует аналитику/paywall Piano
User-agent: cXensebot
Allow: /
6. Блокировка вручную и через TrafficVeil
Nginx:
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "cxensebot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_6cbf7798aeac_key {
default "";
"~*cxensebot" $binary_remote_addr;
}
limit_req_zone $tv_ng_6cbf7798aeac_key zone=tv_ng_6cbf7798aeac:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_6cbf7798aeac burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} cxensebot [NC]
RewriteRule ^ - [F,L]
TrafficVeil:
- прежде чем блокировать — проверьте, не подключён ли сайт к аналитике или paywall-платформе Piano/Cxense;
- если подключён — allow, блокировка сломает функциональность, за которую сайт платит;
- если сайт точно не клиент — Disallow и запрет в TrafficVeil обоснованы, здесь применима стандартная логика для стороннего конкурентного мониторинга;
- после изменения сверьте логи и, если применимо, убедитесь, что собственная аналитика (если используется) продолжает работать.
7. Что делать: короткий алгоритм
- Первый шаг: проверить, не подключён ли сайт к Piano/Cxense (аналитика, персонализация, paywall);
- Подключён — allow, это собственная (или клиентская) инфраструктура аналитики;
- Не подключён — Disallow + запрет в TrafficVeil, здесь бот, вероятно, отслеживает сайт в интересах стороннего клиента сервиса;
- Сайт недавно отказался от Piano/Cxense — проверьте, не осталось ли старое подключение активным;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. С кем не путать cXensebot
| Бот / сосед | Кластер | Комментарий |
| Cincraw | Прочие краулеры и сервисы (см. отдельную статью) | Похожая продуманная политика — тоже намеренно избегает искажения аналитики клиентского сайта |
| Silktide | Прочие краулеры и сервисы | Та же логика «скорее всего, ваш собственный подключённый сервис», но для веб-governance, а не аналитики/paywall |
| Content King | Требует пересмотра (см. отдельную статью) | Тоже платформа мониторинга для подключённых клиентских сайтов |
| DataForSeoBot | SEO и backlink-краулеры | Настоящий сторонний SEO-краулер без сценария «это ваш собственный инструмент» — для контраста |
9. Стратегия allow/deny для cXensebot
| Ситуация | Действие |
| Сайт использует аналитику/paywall Piano или Cxense | Allow — собственная подключённая инфраструктура |
| Сайт точно не клиент сервиса | Disallow + запрет в TrafficVeil |
| Неясно, подключён ли сервис | Проверить настройки платформы/CMS на предмет интеграции Piano/Cxense |
| Сайт недавно отказался от сервиса | Проверить, не осталось ли старое подключение активным |
| Подозрение на подделку UA | Проверять через обратный DNS на поддомен *.cxensebot.com, а не только по строке UA |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
cXensebot — это сторонний бот, который сканирует сайт без разрешения?
Как быстро проверить, легитимен ли этот трафик?
Как реально верифицировать подлинность запроса?
Почему этот краулер считается более аккуратным, чем многие другие?
Может ли этот бот получить доступ к контенту за paywall?
Что если сайт точно не подключён к Piano или Cxense?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.