Строка cludo в логах чаще всего описывают как проверку виджета или webhook при интеграции — на деле это не так. Официальная документация оператора прямо публикует и строку UA, и IP-адреса для проверки: Mozilla/5.0 (Windows NT 10.0; cludo.com bot) AppleWebKit/537.36 .... Задача бота — не подтвердить установку стороннего кода, а проиндексировать сайт для внутреннего поиска, которым пользуются посетители этого же сайта.
Что такое Cludo на самом деле
Cludo — компания из Копенгагена, разработчик SaaS-платформы внутреннего поиска и аналитики для сайтов, построенной поверх Elasticsearch. Среди клиентов — Cisco, Kamstrup, Vodafone, университеты и государственные организации (включая листинг в британском G-Cloud). Краулер Cludo обходит сайт клиента, чтобы построить индекс для поисковой строки на самом сайте — той самой, через которую посетители ищут нужную страницу.
| Параметр | Значение |
| Название | Cludo |
| User-Agent / паттерн | Mozilla/5.0 (Windows NT 10.0; cludo.com bot) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/... Safari/537.36 |
| Оператор | Cludo ApS, Копенгаген — платформа внутреннего site search и аналитики |
| Категория TrafficVeil | Индексирующий краулер для собственной поисковой функции сайта клиента (не проверка виджета) |
| Что делает на сайте | Индексирует страницы, чтобы посетители сайта могли находить их через внутренний поиск Cludo |
| Список IP | ✅ Официально публикуется в Cludo Help Center, с разделением по кластерам EU/US |
| robots.txt | Официальная документация прямо описывает случаи, когда краулер блокируется, и рекомендует внести UA/IP в белый список |
| Пометка TrafficVeil | Легитимный — визит почти всегда означает, что сайт сам подключён к Cludo для внутреннего поиска |
Зачем Cludo приходит на сайт
Причина визита практически всегда одна: владелец сайта подключил Cludo, чтобы заменить или улучшить встроенный поиск по сайту, — краулер регулярно обходит страницы, чтобы поисковый индекс оставался актуальным. Сам оператор в документации отмечает, что клиент может либо разрешить краулеру самостоятельно обходить сайт, либо передавать данные напрямую — то есть обход по умолчанию делается только там, где сайт на него подписан.
Почему это не проверка виджета
Описание «проверяет URL при установке виджета или webhook» сюда не подходит: Cludo не подтверждает факт интеграции, а полноценно индексирует контент страниц для поисковой выдачи внутри сайта. Если сайт подписан на сервис, визиты бота напрямую влияют на качество поиска, которым пользуются посетители, — заблокированный краулер означает не «сэкономленный трафик», а сломанный поиск на самом сайте.
Как найти Cludo в логах
# Базовый поиск
grep -i "cludo" /var/log/nginx/access.log
# Какие разделы индексирует бот
grep -i "cludo" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP — сверяем с официальным списком Cludo (EU/US кластер)
grep -i "cludo" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сравните IP с официальным списком в Cludo Help Center для нужного кластера (EU или US), а не только с UA:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант при подписке на сервис)
User-agent: cludo
Allow: /
# Компромисс: закрыть служебные разделы
User-agent: cludo
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: прежде чем переключать cludo в «запретить», уточните у команды, отвечающей за сайт, не используется ли Cludo для внутреннего поиска, — краулер может быть настроен маркетингом или digital-командой без участия разработки. Если подписка подтверждена, вносите официальный IP-диапазон соответствующего кластера в белый список без rate-limit: перебои в обходе напрямую отражаются на качестве поиска для посетителей.
Что в итоге делать с Cludo
| Ситуация | Действие |
| Сайт подключён к Cludo для внутреннего поиска | Allow по официальному IP-диапазону кластера, без rate-limit |
| Подключение не подтверждено, но нагрузка небольшая | Уточнить у маркетинг/digital-команды, прежде чем блокировать |
| Сервис точно не используется | Точечный Disallow / запрет в TrafficVeil |
| Подозрение на спуфинг UA | Сверять по официальному IP-списку Cludo, а не доверять строке UA |