MistralAI-User: живой запрос из Le Chat, не краулер

Строка mistralai-user в базах помечена «нежелательный» с рекомендацией сразу блокировать или жёстко резать rate-limit — это прямая ошибка. Официальная документация Mistral AI (docs.mistral.ai) прямо описывает этот агент как разовый пользовательский фетчер, который явно не используется для обучения моделей, — по назначению он ближе к ChatGPT-User или Claude-User, чем к обучающим краулерам вроде GPTBot или CCBot.

Что такое MistralAI-User на самом деле

MistralAI-User — официальный агент ассистента Le Chat от французской компании Mistral AI: он забирает конкретную страницу в реальном времени, когда пользователь Le Chat задаёт вопрос, требующий актуальной информации из интернета, и может включить кликабельную ссылку-цитату на источник прямо в ответ. У самой Mistral AI нет отдельного крупного обучающего краулера под собственным именем — компания в основном опирается на открытые корпусы вроде Common Crawl (CCBot) и лицензированные данные, а не на масштабный веб-краулинг под собственным брендом.

Зачем MistralAI-User приходит на сайт

Визит происходит не по расписанию системного обхода, а в момент реального пользовательского запроса: человек спрашивает у Le Chat что-то, требующее свежих данных с конкретного сайта, и агент точечно забирает нужную страницу, чтобы дать актуальный ответ — часто со ссылкой-цитатой обратно на источник, что создаёт прямой канал реферального трафика.

Почему пометка «нежелательный» здесь ошибочна

MistralAI-User — не источник фонового шума и не сборщик данных «про запас»: каждый визит — это, по сути, прямой запрос конкретного пользователя, которому ваш сайт мог дать полезный ответ через Le Chat. Блокировка не защищает контент от обучающего использования (эта роль у Mistral в основном лежит на CCBot), а лишает бизнес шанса быть процитированным и получить переход по ссылке в момент реального интереса пользователя.

Как найти MistralAI-User в логах

# Базовый поиск
grep -i "mistralai-user" /var/log/nginx/access.log

# Какие страницы запрашивались (обычно единичные, по конкретному запросу)
grep -i "mistralai-user" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP — сверяем с официальным списком Mistral
grep -i "mistralai-user" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сравните IP с официальным JSON-списком (mistral.ai/mistralai-user-ips.json), а не только с UA — заголовок легко подделать:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и блокировка через TrafficVeil

# Разрешить (рекомендуется, если важна видимость и цитирования в Le Chat)
User-agent: MistralAI-User
Allow: /

# Точечно закрыть чувствительные разделы
User-agent: MistralAI-User
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: для большинства сайтов разумный вариант — allow без rate-limit: нагрузка от точечных пользовательских запросов минимальна, а потенциальная выгода (цитирование и переход по ссылке из Le Chat) реальна. Учтите также отдельно CCBot (Common Crawl) — именно он, а не MistralAI-User, определяет присутствие сайта в обучающих данных, которые может использовать Mistral.

Что в итоге делать с MistralAI-User