Строка nostocrawlerbot в базах помечена «нежелательный» с рекомендацией сразу блокировать. На деле это краулер конкретного, известного сервиса персонализации для e-commerce — Nosto, который помогает интернет-магазинам показывать посетителям персонализированные товарные рекомендации. Если он заходит на сайт, почти всегда это значит, что магазин сам подключён к сервису.
Что такое NostoCrawlerBot на самом деле
Nosto — AI-платформа персонализации для интернет-магазинов: товарные рекомендации в реальном времени на основе поведения покупателя, персонализированный поиск, динамический контент и визуальный подбор похожих товаров. Чтобы формировать рекомендации, Nosto должна знать актуальный каталог магазина — товары, цены, наличие, изображения. Именно это и делает NostoCrawlerBot: индексирует товарный каталог клиента, чтобы алгоритмы рекомендаций работали на актуальных данных.
| Параметр | Значение |
| Название | NostoCrawlerBot |
| User-Agent / паттерн | nostocrawlerbot |
| Оператор | Nosto — AI-платформа персонализации для e-commerce |
| Категория TrafficVeil | Индексирующий краулер товарного каталога клиента для персонализации (не «прочий нежелательный сервис») |
| Что делает на сайте | Индексирует товарные страницы (цены, наличие, изображения) для работы рекомендательных алгоритмов на самом сайте |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Соблюдает точечные директивы под своим именем |
| Пометка TrafficVeil | Легитимный — визит почти всегда означает, что интернет-магазин сам подключён к Nosto |
Зачем NostoCrawlerBot приходит на сайт
Причина визита практически всегда одна: владелец интернет-магазина подключил Nosto, чтобы показывать посетителям персонализированные товарные рекомендации, персонализированный поиск или динамический контент. Бот регулярно обходит каталог, чтобы данные о товарах — наличие, цены, новые позиции — оставались актуальными для алгоритмов персонализации.
Почему это не «фоновый шум»
Если магазин подключён к Nosto, визиты бота напрямую влияют на качество рекомендаций, которые видят покупатели, — от точности индекса зависит конверсия и средний чек. Блокировка в этом случае не защищает от постороннего сбора данных, а портит уже настроенный и, вероятно, оплачиваемый инструмент повышения продаж.
Как найти NostoCrawlerBot в логах
# Базовый поиск
grep -i "nostocrawlerbot" /var/log/nginx/access.log
# Какие товарные страницы индексирует бот
grep -i "nostocrawlerbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "nostocrawlerbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант при подключении сервиса)
User-agent: nostocrawlerbot
Allow: /
# Закрыть только служебные разделы
User-agent: nostocrawlerbot
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: прежде чем переключать nostocrawlerbot в «запретить», уточните у команды маркетинга или e-commerce, не используется ли Nosto для рекомендаций или персонализации на сайте, — это может быть настроено маркетингом без участия разработки. Если подключение подтверждено, оставляйте allow без rate-limit: неполный индекс товаров напрямую снизит качество рекомендаций и потенциально выручку.
Что в итоге делать с NostoCrawlerBot
| Ситуация | Действие |
| Магазин подключён к Nosto для рекомендаций/персонализации | Allow без rate-limit |
| Подключение не подтверждено, но нагрузка небольшая | Уточнить у маркетинг/e-commerce команды, прежде чем блокировать |
| Сервис точно не используется | Точечный Disallow / запрет в TrafficVeil |
| Подозрение на спуфинг UA | Сверять по ASN, а не доверять строке UA |