Big Sur AI: краулер стартапа с $6,9М инвестиций для AI-ассистированного шопинга

Big Sur AI — не безымянная инфраструктура, а конкретный стартап из Маунтин-Вью, основанный в 2023 году и привлёкший 6,9 миллиона долларов посевных инвестиций во главе с Lightspeed Venture Partners. Компания строит AI-агентов для электронной коммерции — прежде всего AI Sales Agent, который встраивается на сайт интернет-магазина и предлагает покупателям ассистированный шопинг: разговорный подбор товаров, персональные рекомендации и ответы на вопросы о товаре прямо в чате, имитируя работу консультанта в офлайн-магазине.

Зачем такому продукту нужен краулер

По независимой классификации Cloudflare Radar, бот Big Sur AI прямо описан как AI-краулер, который сканирует сайты, чтобы обеспечить работу «AI-насыщенного» покупательского опыта — то есть, чтобы AI Sales Agent мог отвечать на вопросы покупателей о конкретных товарах конкретного магазина, ему сначала нужно понять содержимое каталога, карточек товаров и другого контента сайта клиента. Продукт официально предлагается через Shopify App Store, а среди клиентов компания называет, например, Rad Power Bikes — производителя электровелосипедов, чьи покупатели, по словам представителя бренда, получают ощутимую помощь от ассистента Big Sur AI при выборе модели с нужными характеристиками.

Параметры бота

Почему это меняет практическую оценку по сравнению с шаблоном «прочие сервисы, легитимность неясна»

Раз у бота есть конкретный, финансово подтверждённый оператор (публично раскрытый раунд инвестиций, известные клиенты, продукт в официальном магазине приложений Shopify), а сам обход по описанию происходит в рамках штатной работы платформы при подключении сайта, — это тот же принцип, что уже применялся к BomboraBot: бот появляется потому, что кто-то в организации-владельце сайта сознательно подключил соответствующий AI-сервис, а не потому, что сайт стал случайной жертвой стороннего сканирования.

Как найти бота в логах

grep -i "bigsur" /var/log/nginx/access.log

# Топ URL — должны быть логически связаны с каталогом товаров
grep -i "bigsur" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Стоит ли блокировать

• если сайт — интернет-магазин, подключивший AI Sales Agent или другой продукт Big Sur AI, — бота нужно явно разрешить, иначе ассистированный шопинг перестанет корректно работать для покупателей;
• если сайт не является клиентом Big Sur AI, а бот всё равно появляется, — стоит уточнить внутри организации (маркетинг, e-commerce команда), не подключал ли кто-то этот сервис через магазин приложений платформы, на которой работает сайт (например, Shopify), без широкого согласования;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это отдельный от классической поисковой индексации AI-инструмент для e-commerce.

Как настроить доступ

Явное разрешение для клиентов сервиса:

User-agent: bigsur.ai
Allow: /

Стандартный запрет с дублированием на уровне сервера, если сайт не пользуется продуктами Big Sur AI:

User-agent: bigsur.ai
Disallow: /

if ($http_user_agent ~* "bigsur") {
    return 403;
}