Anthropic-ai: устаревший токен Claude — почему сегодня нужны три отдельных правила вместо одного

Строка anthropic-ai (иногда встречается слитно как anthropicai) в логах указывает на компанию Anthropic, разработчика Claude, — но важно понимать: это устаревший идентификатор. Наравне с другим легаси-именем, Claude-Web, он давно не используется в актуальной инфраструктуре компании и заменён тремя отдельными, более специализированными краулерами. Если в 2026 году в логах всё ещё встречается именно старое имя, стоит в первую очередь свериться с актуальным списком, а не строить политику вокруг устаревшего токена.

Как Anthropic реорганизовала своих краулеров

Anthropic обновила официальную документацию по краулерам, разделив единого универсального бота на три самостоятельных агента с разными задачами и разными строками User-Agent в robots.txt:

• ClaudeBot — основной краулер, который собирает публично доступный контент для обучения и улучшения будущих моделей Claude;
• Claude-User — срабатывает, когда живой пользователь Claude в диалоге просит модель открыть конкретную страницу — это не массовый обход, а точечный запрос по инициативе конкретного человека;
• Claude-SearchBot — индексирует контент специально для функций поиска внутри экосистемы Claude, отдельно от тренировочного пайплайна.

Ключевое следствие этого разделения — блокировка одного бота не блокирует остальных автоматически. Например, запрет ClaudeBot останавливает попадание новых материалов сайта в обучающие датасеты будущих моделей, но никак не мешает Claude-SearchBot индексировать сайт для поисковых функций или Claude-User — открывать конкретную страницу по прямому запросу пользователя в диалоге. Каждый из трёх ботов настраивается в robots.txt независимо.

Параметры

Что означает появление устаревшего UA в 2026 году

Есть два реалистичных объяснения. Первое — устаревшая или заранее заскриптованная реализация клиента где-то в цепочке (редко, но встречается, если какой-то внутренний инструмент десятилетней настройки ещё использует старую строку). Второе, значительно более вероятное — спуфинг: сторонний скрапер намеренно представляется именем известной AI-компании, рассчитывая, что администратор сайта либо пропустит его как «легитимного», либо, наоборот, не станет разбираться и просто скопирует чужое правило блокировки без проверки актуальности.

В обоих случаях практический вывод один: строить текущую политику допуска стоит вокруг актуальной тройки — ClaudeBot, Claude-User, Claude-SearchBot, а не вокруг легаси-имени, которое официально не используется.

Как найти в логах

# Устаревший токен
grep -iE "anthropic-ai|anthropicai|claude-web" /var/log/nginx/access.log

# Актуальные боты
grep -iE "claudebot|claude-user|claude-searchbot" /var/log/nginx/access.log

Как настроить robots.txt под актуальную схему

Отдельное правило для каждого из трёх современных ботов — с возможностью разрешить один и запретить другой независимо:

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

Такая конфигурация, например, полностью выводит сайт из тренировочных датасетов будущих моделей Claude, но сохраняет видимость в поисковых функциях внутри Claude и позволяет модели открывать конкретные страницы по прямому запросу пользователя в диалоге — то есть блокирует использование контента для обучения, но не блокирует видимость сайта для конечных пользователей Claude.

Для устаревших токенов, если они всё же встречаются в логах, — блокировка на уровне сервера как для потенциального спуфинга:

if ($http_user_agent ~* "anthropic-ai|claude-web") {
    return 403;
}

Стоит ли блокировать

Решение по каждому из трёх актуальных ботов имеет смысл принимать отдельно, а не оптом:

• если важно не отдавать контент в обучающие датасеты — логично заблокировать именно ClaudeBot, оставив два других открытыми;
• если сайт заинтересован в видимости для пользователей Claude (например, чтобы модель могла точно и актуально пересказывать информацию о бренде или продукте по прямому запросу) — Claude-User и Claude-SearchBot стоит оставить разрешёнными;
• на позиции в органической выдаче Google, Bing или Яндекса ни один из этих ботов не влияет — это отдельная, не связанная с классическим поиском экосистема.