Claude-User — это автоматический краулер?

Нет, это реактивный агент: он запрашивает страницу только в ответ на прямое действие пользователя в Claude.

Используется ли Claude-User для обучения моделей?

Нет, за обучение отвечает отдельный агент — ClaudeBot.

Влияет ли Claude-User на присутствие сайта в поиске Claude?

Нет напрямую — за поисковый индекс отвечает Claude-SearchBot, хотя оба агента относятся к сценариям видимости сайта для пользователей Claude.

Как проверить, что запрос действительно от Claude-User, а не подделка?

Официального списка IP для сверки нет; практический метод — сопоставление паттерна запросов (конкретные URL, а не полный обход сайта) и, вспомогательно, reverse DNS.

Соблюдает ли Claude-User robots.txt так же строго, как ClaudeBot?

Да, согласно официальной документации Anthropic, все три бота компании, включая Claude-User, соблюдают robots.txt одинаково.

Можно ли ограничить Claude-User только для части сайта?

Да, через точечные директивы Disallow/Allow по разделам в правиле User-agent: Claude-User.

Создаёт ли Claude-User заметную нагрузку на сервер?

Как правило, нет — трафик реактивный и распределён неравномерно, резких устойчивых скачков не характерно.

Можно ли заблокировать Claude-User по IP вместо robots.txt?

Не рекомендуется — как и для остальных ботов Anthropic, официального списка IP нет, а блокировка облачных диапазонов рискует задеть посторонние сервисы.

Claude User

По данным официальной документации Anthropic, блокировка Claude-User не влияет на обучение моделей (это ClaudeBot) и не влияет напрямую на присутствие сайта в поисковом индексе Claude (это Claude-SearchBot) — но снижает видимость сайта именно в сценарии, когда пользователь Claude напрямую интересуется конкретной страницей или ссылкой.

1. Что такое Claude-User

Параметр	Значение
User-Agent (токен)	`Claude-User`
Полная строка UA	`Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)`
Оператор	Anthropic
Назначение	Получение содержимого страницы по прямому запросу пользователя Claude
Официальная документация	Claude Help Center — «Does Anthropic crawl data from the web...»
Список IP-адресов	❌ Официально не публикуется
Соблюдение robots.txt	Да, официально подтверждено — Anthropic не делает для Claude-User исключения, в отличие от подхода некоторых других компаний к аналогичным агентам
Используется для обучения моделей	Нет
Автоматическое сканирование	Нет — только по прямому запросу пользователя

Важное отраслевое отличие: OpenAI и Perplexity отдельно отмечают, что их аналогичные пользовательские агенты (ChatGPT-User, Perplexity-User) могут не подчиняться robots.txt так же строго, как автоматические краулеры. Документация Anthropic такого исключения для Claude-User не делает — компания заявляет, что все три её бота, включая Claude-User, соблюдают robots.txt одинаково строго.

2. Как работает Claude-User

Срабатывает, когда пользователь Claude вставляет ссылку в диалог или задаёт вопрос, требующий обращения к конкретной странице;
Не является плановым краулером — не обходит сайт целиком, а запрашивает конкретные URL, релевантные текущему диалогу пользователя;
Появляется в логах непредсказуемыми всплесками, зависящими от активности пользователей, а не от расписания;
По официальному заявлению Anthropic, полноценно соблюдает стандартные директивы robots.txt.

3. Нагрузка на сервер

По данным мониторинга bot-трафика trafficveil (ClickHouse, 696 доменов, 161 уникальный бот, март–июнь 2026) реактивные пользовательские агенты вроде Claude-User дают принципиально другой профиль нагрузки по сравнению с плановыми краулерами: трафик распределён неравномерно и зависит от того, насколько часто пользователи Claude интересуются конкретным доменом или темой, а не от объёма страниц на сайте. Резких, устойчивых скачков нагрузки для этого агента не характерно.

4. Обнаружение в логах

Поиск по User-Agent

# Все запросы от Claude-User
grep "Claude-User" /var/log/nginx/access.log

# Уникальные IP-адреса
grep "Claude-User" /var/log/nginx/access.log | awk '{print $1}' | sort -u

# Какие страницы запрашивались чаще всего
grep "Claude-User" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

# Распределение запросов по времени суток (для оценки характера всплесков)
grep "Claude-User" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f2 | sort | uniq -c

Верификация — почему IP-блокировка здесь не работает как обычно

Как и для ClaudeBot, Anthropic не публикует официальный список IP-адресов для Claude-User. Бот работает с публичных облачных IP-адресов, поэтому основной метод контроля — правило по User-Agent в robots.txt и на уровне сервера, а не IP-фильтрация.

# Вспомогательная проверка через reverse DNS (не окончательный метод)
IP="1.2.3.4"
dig +short -x "$IP"

5. robots.txt

# Разрешить обработку прямых пользовательских запросов Claude
User-agent: Claude-User
Allow: /

# Полная блокировка — Claude не сможет получить страницу по запросу пользователя
User-agent: Claude-User
Disallow: /

# Точечное ограничение — закрыть личный кабинет и оформление заказа
User-agent: Claude-User
Disallow: /account/
Disallow: /checkout/
Allow: /

6. Управление на уровне сервера

Nginx

if ($http_user_agent ~* "Claude-User") {
    return 403;
}

# Более мягкий вариант — ограничение частоты
limit_req_zone $binary_remote_addr zone=claudeuser:10m rate=20r/m;

location / {
    if ($http_user_agent ~* "Claude-User") {
        limit_req zone=claudeuser burst=40 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Claude-User [NC]
RewriteRule ^ - [F,L]

7. Рекомендации по оптимизации

Блокировка Claude-User напрямую мешает пользователям Claude получать актуальную информацию с вашего сайта, когда они делятся ссылкой или спрашивают про конкретную страницу — это отдельная функциональная потеря, не связанная с обучением или поисковым индексом;
Не полагайтесь на IP-блокировку — официального списка IP нет, а блокировка облачных диапазонов может задеть посторонние сервисы;
Держите контент, важный для прямых ответов, доступным без обязательного JS-рендеринга — как и большинство AI-агентов, Claude-User лучше работает с содержимым, доступным в исходном HTML;
Мониторьте всплески, а не средний трафик — характер нагрузки неравномерный и зависит от интереса пользователей Claude к конкретной теме или ссылке;
Учитывайте, что Anthropic не делает исключений для этого агента в трактовке robots.txt — в отличие от некоторых конкурентов, правило будет соблюдаться так же строго, как для ClaudeBot.

8. Сравнение с похожими ботами

Агент	Оператор	Триггер	Строгость соблюдения robots.txt
Claude-User	Anthropic	Прямой запрос пользователя	Строгая, без исключений (по заявлению Anthropic)
ChatGPT-User	OpenAI	Прямой запрос пользователя / GPT Actions	OpenAI отмечает, что трактовка может отличаться от автоматических краулеров
Perplexity-User	Perplexity	Прямой запрос пользователя	Как правило, не соблюдается (по независимым источникам)
ClaudeBot	Anthropic	Плановое сканирование	Строгая
Claude-SearchBot	Anthropic	Плановая индексация для поиска	Строгая

9. Сводная таблица стратегии

Цель сайта	Рекомендация
Хочу, чтобы Claude мог получать данные по прямому запросу пользователя	Allow для Claude-User
Не хочу, чтобы Claude обращался к сайту даже по прямому запросу	Disallow для Claude-User
Хочу закрыть только личный кабинет / чувствительные разделы	Точечный Disallow по путям в правиле User-agent: Claude-User
Волнует нагрузка от непредсказуемых всплесков	Мониторинг + rate limiting на уровне Nginx, а не полная блокировка