Строка nostocrawlerbot в базах помечена «нежелательный» с рекомендацией сразу блокировать. На деле это краулер конкретного, известного сервиса персонализации для e-commerce — Nosto, который помогает интернет-магазинам показывать посетителям персонализированные товарные рекомендации. Если он заходит на сайт, почти всегда это значит, что магазин сам подключён к сервису.
Что такое NostoCrawlerBot на самом деле
Nosto — AI-платформа персонализации для интернет-магазинов: товарные рекомендации в реальном времени на основе поведения покупателя, персонализированный поиск, динамический контент и визуальный подбор похожих товаров. Чтобы формировать рекомендации, Nosto должна знать актуальный каталог магазина — товары, цены, наличие, изображения. Именно это и делает NostoCrawlerBot: индексирует товарный каталог клиента, чтобы алгоритмы рекомендаций работали на актуальных данных.
| Параметр | Значение |
| Название | NostoCrawlerBot |
| User-Agent / паттерн | nostocrawlerbot |
| Оператор | Nosto — AI-платформа персонализации для e-commerce |
| Категория TrafficVeil | Индексирующий краулер товарного каталога клиента для персонализации (не «прочий нежелательный сервис») |
| Что делает на сайте | Индексирует товарные страницы (цены, наличие, изображения) для работы рекомендательных алгоритмов на самом сайте |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Соблюдает точечные директивы под своим именем |
| Пометка TrafficVeil | Легитимный — визит почти всегда означает, что интернет-магазин сам подключён к Nosto |
Зачем NostoCrawlerBot приходит на сайт
Причина визита практически всегда одна: владелец интернет-магазина подключил Nosto, чтобы показывать посетителям персонализированные товарные рекомендации, персонализированный поиск или динамический контент. Бот регулярно обходит каталог, чтобы данные о товарах — наличие, цены, новые позиции — оставались актуальными для алгоритмов персонализации.
Почему это не «фоновый шум»
Если магазин подключён к Nosto, визиты бота напрямую влияют на качество рекомендаций, которые видят покупатели, — от точности индекса зависит конверсия и средний чек. Блокировка в этом случае не защищает от постороннего сбора данных, а портит уже настроенный и, вероятно, оплачиваемый инструмент повышения продаж.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Как найти NostoCrawlerBot в логах
# Базовый поиск
grep -i "nostocrawlerbot" /var/log/nginx/access.log
# Какие товарные страницы индексирует бот
grep -i "nostocrawlerbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "nostocrawlerbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
Для верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант при подключении сервиса)
User-agent: nostocrawlerbot
Allow: /
# Закрыть только служебные разделы
User-agent: nostocrawlerbot
Disallow: /admin/
Disallow: /account/
Allow: /
TrafficVeil: прежде чем переключать nostocrawlerbot в «запретить», уточните у команды маркетинга или e-commerce, не используется ли Nosto для рекомендаций или персонализации на сайте, — это может быть настроено маркетингом без участия разработки. Если подключение подтверждено, оставляйте allow без rate-limit: неполный индекс товаров напрямую снизит качество рекомендаций и потенциально выручку.
Что в итоге делать с NostoCrawlerBot
| Ситуация | Действие |
| Магазин подключён к Nosto для рекомендаций/персонализации | Allow без rate-limit |
| Подключение не подтверждено, но нагрузка небольшая | Уточнить у маркетинг/e-commerce команды, прежде чем блокировать |
| Сервис точно не используется | Точечный Disallow / запрет в TrafficVeil |
| Подозрение на спуфинг UA | Сверять по ASN, а не доверять строке UA |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Правда ли, что NostoCrawlerBot нужно блокировать по умолчанию как нежелательный трафик?
Зачем этот бот вообще индексирует товарные страницы?
Что теряет магазин при блокировке NostoCrawlerBot, если он подключён к сервису?
Кто в компании обычно отвечает за подключение Nosto, если это неочевидно технической команде?
Публикует ли Nosto официальный список IP своего краулера?
С каким уже разобранным ботом логично сравнивать NostoCrawlerBot по природе визита?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.