cXensebot — ещё один случай из серии «это, вероятно, ваш собственный инструмент», только для аналитики и SEO-мониторинга публикаторов. Оператор — норвежская компания Cxense ASA (Осло, основана в 2010 году), в 2019 году приобретённая платформой Piano — крупным игроком в сфере paywall и подписочной аналитики для СМИ. По официальным данным Cloudflare Radar, cXensebot выполняет мониторинг и анализ SEO именно для страниц клиентов сервиса, а не случайных сторонних сайтов.
1. Что такое cXensebot на самом деле
Cxense изначально создавала платформу для построения профилей интересов посетителей сайта и персонализации рекламы и контента на основе этих профилей — продуктовая линейка включала Cxense Insight (аналитика), Cxense DMP, Cxense Content, Cxense Advertising и Cxense Search. После поглощения Piano технология и документация продолжают поддерживаться уже под брендом Piano («CX Platform»).
Официальный User-Agent:
Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US) AppleWebKit/537.36 (KHTML, like Gecko) cXensebot/2.0; +http://www.cxense.com/bot.html Safari/533.3Официальная документация краулера (сейчас размещена в базе знаний Piano) описывает продуманное, аккуратное поведение: краулер рендерит страницу и загружает внешние ресурсы, но намеренно блокирует загрузку сторонних аналитических тегов — чтобы не искажать счётчики посещаемости на клиентском сайте — и медленных или недоступных внешних доменов, чтобы не терять в скорости обхода. Разработчикам клиентских сайтов также предлагается штатный способ исключить конкретный код из выполнения краулером через JS-проверку токена cxensebot в User-Agent.
| Параметр | Значение |
| Название | cXensebot |
| Оператор | Cxense ASA (Норвегия, основана в 2010 году), с 2019 года — часть платформы Piano |
| Роль | SEO-мониторинг и анализ страниц клиентов сервиса Piano/Cxense — не случайный сторонний обход |
| User-Agent / паттерн | cXensebot/2.0; +http://www.cxense.com/bot.html |
| Верификация | Обратный DNS резолвится в поддомен вида *.cxensebot.com — конкретный пример из открытых данных: bot-5-9-190-107.cxensebot.com |
| Особенности поведения | Намеренно не подгружает сторонние аналитические теги (чтобы не искажать статистику клиентского сайта); умеет распознавать «мягкие 404» (страница отдаёт 200 вместо ожидаемого статуса ошибки); имеет механизм доступа к paywall-контенту для клиентов сервиса |
| Категория (Cloudflare Radar) | Прямое управление оператором («Direct») |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
2. Зачем cXensebot приходит на сайт
- если сайт — клиент Piano/Cxense (paywall, аналитика, персонализация контента) — регулярный SEO-мониторинг и анализ страниц в рамках подключённого сервиса;
- для сайтов с paywall у краулера есть отдельный механизм доступа к защищённому контенту — это часть штатной интеграции, а не обход защиты;
- обновление данных для персонализации и аналитических дашбордов клиента.
Типичный кейс: издание или медиа-сайт с подпиской/paywall регулярно посещается cXensebot — прежде чем реагировать как на нежелательный трафик, стоит проверить, не подключён ли сайт к Piano/Cxense.
3. Нагрузка и риски
Если сайт — клиент сервиса, прямая польза очевидна: данные питают аналитику и персонализацию, за которые сайт платит. Продуманная политика краулера (пропуск сторонних аналитических тегов, обработка медленных доменов) говорит о зрелой, давно работающей инфраструктуре, а не о случайном сборщике данных.
Если сайт точно не подключён к Piano/Cxense, а бот всё равно заходит — по классификации Cloudflare Radar его поведение описывается как SEO-мониторинг клиентских страниц, что подразумевает: скорее всего, кто-то из клиентов сервиса отслеживает именно ваш сайт как часть своей аналитики (например, конкурентный мониторинг), а не происходит бесцельный сбор данных.
4. Как найти cXensebot в логах
# Базовый поиск
grep -i "cxensebot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "cxensebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация. В отличие от многих ботов в этой энциклопедии, здесь есть рабочий способ проверки через обратный DNS — легитимные запросы резолвятся в поддомен вида *.cxensebot.com:
IP="1.2.3.4"
dig +short -x "$IP"
# Ожидаем что-то вида bot-X-X-X-X.cxensebot.com5. robots.txt для cXensebot
# Жёсткий запрет
User-agent: cXensebot
Disallow: /
# Разрешить всё — необходимо, если сайт использует аналитику/paywall Piano
User-agent: cXensebot
Allow: /6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "cxensebot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=cxensebot:10m rate=10r/m;
location / {
if ($http_user_agent ~* "cxensebot") {
limit_req zone=cxensebot burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} cxensebot [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- прежде чем блокировать — проверьте, не подключён ли сайт к аналитике или paywall-платформе Piano/Cxense;
- если подключён — allow, блокировка сломает функциональность, за которую сайт платит;
- если сайт точно не клиент — Disallow и запрет в TrafficVeil обоснованы, здесь применима стандартная логика для стороннего конкурентного мониторинга;
- после изменения сверьте логи и, если применимо, убедитесь, что собственная аналитика (если используется) продолжает работать.
7. Что делать: короткий алгоритм
- Первый шаг: проверить, не подключён ли сайт к Piano/Cxense (аналитика, персонализация, paywall);
- Подключён — allow, это собственная (или клиентская) инфраструктура аналитики;
- Не подключён — Disallow + запрет в TrafficVeil, здесь бот, вероятно, отслеживает сайт в интересах стороннего клиента сервиса;
- Сайт недавно отказался от Piano/Cxense — проверьте, не осталось ли старое подключение активным;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. С кем не путать cXensebot
| Бот / сосед | Кластер | Комментарий |
| Cincraw | Прочие краулеры и сервисы (см. отдельную статью) | Похожая продуманная политика — тоже намеренно избегает искажения аналитики клиентского сайта |
| Silktide | Прочие краулеры и сервисы | Та же логика «скорее всего, ваш собственный подключённый сервис», но для веб-governance, а не аналитики/paywall |
| Content King | Требует пересмотра (см. отдельную статью) | Тоже платформа мониторинга для подключённых клиентских сайтов |
| DataForSeoBot | SEO и backlink-краулеры | Настоящий сторонний SEO-краулер без сценария «это ваш собственный инструмент» — для контраста |
9. Стратегия allow/deny для cXensebot
| Ситуация | Действие |
| Сайт использует аналитику/paywall Piano или Cxense | Allow — собственная подключённая инфраструктура |
| Сайт точно не клиент сервиса | Disallow + запрет в TrafficVeil |
| Неясно, подключён ли сервис | Проверить настройки платформы/CMS на предмет интеграции Piano/Cxense |
| Сайт недавно отказался от сервиса | Проверить, не осталось ли старое подключение активным |
| Подозрение на подделку UA | Проверять через обратный DNS на поддомен *.cxensebot.com, а не только по строке UA |