Cohere Training Data Crawler: известный training-бот enterprise AI

В отличие от многих записей в этой энциклопедии, оценка риска в черновике для Cohere Training Data Crawler в целом верна — но формулировка «оператор не указан публично» здесь не соответствует действительности. Cohere — крупная, хорошо известная компания в сфере корпоративных языковых моделей (cohere.com), и её краулер официально задокументирован под собственным именем.

1. Что такое Cohere Training Data Crawler на самом деле

Cohere — один из заметных игроков рынка enterprise LLM, наравне с OpenAI и Anthropic, но ориентированный именно на бизнес-заказчиков. Официальный краулер компании собирает публичный контент для обучения языковых моделей, которые затем продаются как часть корпоративных AI-продуктов Cohere.

Официальный User-Agent:

Mozilla/5.0 (compatible; Cohere-AI/1.0; +https://cohere.com/)

Важный нюанс, которого нет в черновике: в открытых источниках встречаются два разных, но, по всей видимости, связанных токена — краткий cohere-ai (используется в официальной строке UA и большинстве современных гайдов по robots.txt) и более описательный cohere-training-data-crawler, который фигурирует в независимых каталогах ботов и системах защиты вроде DataDome. Чтобы не упустить часть трафика, при настройке правил разумно перекрыть оба варианта.

2. Зачем Cohere Training Data Crawler приходит на сайт

• сбор публичного текста для обучающих корпусов, которые используются при тренировке и дообучении языковых моделей Cohere;
• охват обычно широкий и не привязан к конкретному запросу пользователя — это классический training-краулер, а не user-triggered fetcher вроде ChatGPT-User;
• как и у большинства AI data scraper-ов, паттерн выбора сайтов и частоты обхода компанией публично не раскрывается.

Типичный кейс из черновика — системный обход /blog/, /product/, /category/, /news/ и пагинации каталога по ночам без конверсий — полностью соответствует ожидаемому поведению training-краулера такого типа.

3. Нагрузка и риски

Здесь черновик в целом прав: главный риск — не нагрузка на сервер, а то, что уникальные тексты, описания товаров и статьи уходят в обучающий корпус коммерческой AI-компании без кликов, атрибуции и какой-либо компенсации. Это стандартный риск-профиль для training-краулеров (в отличие, например, от search/retrieval-краулеров вроде тех же ChatGPT-User или PerplexityBot, которые могут приводить реферальный трафик).

Стоит отдельно учитывать вторичный эффект: если контент сайта в итоге используется для обучения моделей, которые впоследствии питают AI-поиск, блокировка может слегка снижать долгосрочную «видимость» в AI-генерируемых ответах — но это не аргумент против блокировки самой по себе, а лишь фактор для взвешенного решения.

4. Как найти Cohere Training Data Crawler в логах

# Базовый поиск — оба варианта токена
grep -iE "cohere-training-data-crawler|cohere-ai" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -iE "cohere-training-data-crawler|cohere-ai" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -iE "cohere-training-data-crawler|cohere-ai" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -iE "cohere-training-data-crawler|cohere-ai" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов Cohere в открытых источниках не найдено — для решения allow/deny смотрите связку UA + IP/ASN + системный, широкий паттерн обхода, типичный именно для training-краулера:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Cohere Training Data Crawler

# Жёсткий запрет по обоим известным вариантам токена
User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

# Разрешить всё — редкий сценарий, если сайт заинтересован в присутствии в обучающих корпусах
User-agent: cohere-ai
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: cohere-ai
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "cohere-training-data-crawler|cohere-ai") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=cohereai:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "cohere-training-data-crawler|cohere-ai") {
        limit_req zone=cohereai burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} cohere-training-data-crawler [NC,OR]
RewriteCond %{HTTP_USER_AGENT} cohere-ai [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите оба варианта токена в разделе ботов домена или в /system/bots;
• для подавляющего большинства сайтов — Disallow/запрет обоснованы сразу, поскольку прямой пользы от training-краулера почти никогда нет;
• поскольку Cohere в целом относится к операторам, уважающим robots.txt, файл здесь — не просто формальность, как для многих других записей энциклопедии;
• после изменения сверьте логи: хиты по обоим токенам должны уйти в блок/лимит, а Google/Yandex остаться без изменений.

7. Что делать: короткий алгоритм

• Пользы нет — Disallow/403 по обоим известным токенам, это рекомендуемый вариант по умолчанию;
• Хотите разрешить AI-поиск, но не training — по аналогии с другими AI-компаниями стоит уточнить, публикует ли Cohere отдельный UA для retrieval-сценариев (на момент написания статьи такой отдельный токен не задокументирован независимо от training-краулера);
• Нагрузка заметна — rate-limit как промежуточный шаг, хотя для большинства сайтов достаточно сразу Disallow;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. С кем не путать Cohere Training Data Crawler

9. Стратегия allow/deny для Cohere Training Data Crawler