Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

Anthropic-ai в логах: устаревший токен, не текущий Claude

Разбираем anthropic-ai — исторический токен Anthropic, официально исключённый из документации в феврале 2026 года. Показываем три актуальных краулера (ClaudeBot, Claude-SearchBot, Claude-User) и как правильно управлять видимостью сайта в Claude сегодня.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота AnthropicBot: нежелательный бот

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а бот с User-Agent anthropic-ai. Важное уточнение по итогам проверки: это исторический, ныне устаревший токен. В феврале 2026 года Anthropic обновила документацию по своим краулерам и прямо исключила anthropic-ai (вместе со старым Claude-Web) из актуального списка — по независимым источникам, отслеживающим эти изменения, «правила для них ничего не делают, поскольку ни один текущий краулер им не соответствует». Если в 2026 году в логах встречается именно этот UA, к нему стоит относиться с большей осторожностью, чем предполагает пометка «Оператор: Anthropic» в исходном описании.

1. Что такое anthropic-ai

До того как Anthropic консолидировала своих краулеров под понятными отдельными именами, компания использовала anthropic-ai как общий токен для сбора данных с открытого веба на нужды тренировки моделей. С обновлением документации в феврале 2026 года актуальная структура стала куда более гранулярной: сегодня Anthropic официально называет три отдельных краулера с разным назначением — ClaudeBot (сбор данных для тренировки моделей), Claude-SearchBot (построение поискового индекса, от которого зависит, может ли Claude процитировать сайт) и Claude-User (получение конкретной страницы в реальном времени, когда пользователь Claude просит открыть ссылку). Все три, по официальному заявлению компании, соблюдают robots.txt, и каждый управляется в файле независимо от других.

Название anthropic-ai (устаревший токен)
User-Agent / паттерн anthropic-ai — по актуальной документации не соответствует ни одному действующему краулеру Anthropic
Оператор Исторически — Anthropic; для трафика с этим UA в 2026 году соответствие текущей инфраструктуре компании не подтверждено
Роль Историческая — общий сбор данных для тренировки моделей; сегодня эту функцию явно и отдельно выполняет ClaudeBot
Документация / ориентир Официальная и актуальная документация Anthropic по краулерам описывает ClaudeBot, Claude-SearchBot и Claude-User — токена anthropic-ai в текущей версии страницы нет
Список IP Актуальный список IP публикуется Anthropic для действующих краулеров (ClaudeBot и других); для устаревшего anthropic-ai отдельной актуальной верификации нет
robots.txt Действующие краулеры Anthropic официально соблюдают robots.txt; для нерабочего/устаревшего токена anthropic-ai поведение не задокументировано, поскольку он не является активной инфраструктурой
Пометка TrafficVeil Нежелательный / AI и LLM-краулеры

2. Зачем anthropic-ai приходит на сайт

Раз этот токен исключён из актуальной документации компании, у трафика с таким UA в 2026 году нет однозначного законного объяснения со стороны Anthropic. Правдоподобные причины: (а) старый, давно не обновлявшийся скрипт или библиотека, где имя anthropic-ai осталось захардкоженным с более раннего периода; (б) спуфинг — кто-то намеренно выдаёт себя за Anthropic под устаревшим, но узнаваемым именем; (в) стороннее исследование или каталог ботов, который просто тестирует старые токены из своей базы. Если цель — понять, действительно ли сайт посещают краулеры Anthropic сегодня, разумнее искать актуальные токены ClaudeBot, Claude-SearchBot и Claude-User, а не anthropic-ai.

  • Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога — по шаблону категории, но для устаревшего токена эта информация не актуальна для реальной инфраструктуры компании;
  • Что ищет: исторически — контент для тренировочной выборки; сегодня эту роль официально выполняет ClaudeBot под собственным именем;
  • Чем отличается от браузерного пользователя: нет нормальной сессии, но само по себе это не помогает определить, связан ли трафик с Anthropic на самом деле.

Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по anthropic-ai показывает системный обход блога, каталога и новостей — прежде чем реагировать как на «трафик Anthropic», стоит вспомнить: актуальная документация компании этот токен больше не признаёт.

3. Нагрузка и риски именно для anthropic-ai

Отдельной строки в публичной сводке top-bot TrafficVeil у anthropic-ai может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: даже при соблюдении robots.txt часть соседних AI-агентов того же исторического семейства может вести себя иначе. Для этого конкретного токена риск смещается в сторону неопределённности идентичности: раз он официально устарел, полагаться на репутацию Anthropic при оценке рисков от такого трафика не стоит.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти anthropic-ai в логах

Не ищите «просто ботов» — ищите конкретный токен anthropic-ai, но обязательно сравнивайте с актуальными токенами Anthropic.

# Базовый поиск устаревшего токена
grep -i "anthropic-ai" /var/log/nginx/access.log

# Сравнить с действующими краулерами Anthropic
grep -iE "claudebot|claude-searchbot|claude-user" /var/log/nginx/access.log | wc -l

# Топ URL, которые вычитывает бот с устаревшим токеном
grep -i "anthropic-ai" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "anthropic-ai" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "anthropic-ai" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Подделать User-Agent может любой скрипт, а для устаревшего токена это особенно вероятно: узнаваемое, но более не актуальное имя может использоваться для маскировки. Официальная актуальная верификация (IP, задокументированное поведение) существует для действующих краулеров Anthropic — ClaudeBot, Claude-SearchBot, Claude-User; для anthropic-ai она не поддерживается.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для anthropic-ai

# Правило технически валидно, но по актуальной документации Anthropic
# не соответствует ни одному действующему краулеру
User-agent: anthropic-ai
Disallow: /

# Для реального управления доступом Anthropic сегодня используйте актуальные токены:
User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Важно: правило именно под anthropic-ai можно спокойно оставить или удалить — реального эффекта на текущую инфраструктуру Anthropic оно не имеет. Если цель — управлять видимостью сайта для Claude сегодня, работайте с тремя актуальными токенами: ClaudeBot определяет участие в тренировке моделей, Claude-SearchBot — попадание в поисковый индекс и цитирования, Claude-User — доступность страницы по прямому запросу пользователя Claude.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "anthropic-ai") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_561241e9a217_key {
    default "";
    "~*anthropic-ai" $binary_remote_addr;
}
limit_req_zone $tv_ng_561241e9a217_key zone=tv_ng_561241e9a217:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_561241e9a217 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

TrafficVeil

  • Найдите anthropic-ai в ботах домена или в /system/bots;
  • Учитывая устаревший статус токена, блокировка практически не влияет на текущие отношения с Anthropic — для реального управления настройте отдельные правила под ClaudeBot, Claude-SearchBot и Claude-User;
  • После изменения сверьте логи и, отдельно, наличие правил именно под три актуальных токена, если управление видимостью в Claude для вас важно.

7. Рекомендации: что делать с anthropic-ai

  • Правило под anthropic-ai можно оставить как есть или удалить — реального эффекта на действующую инфраструктуру Anthropic оно не даёт;
  • Если важно управлять участием в тренировке моделей Claude — настройте правило именно под ClaudeBot;
  • Если важны цитирования в ответах Claude — не блокируйте Claude-SearchBot;
  • Если важна доступность страницы по прямому запросу пользователей Claude — не блокируйте Claude-User;
  • Что будет при блокировке только anthropic-ai: скорее всего ничего не изменится — это не тот токен, который использует действующая инфраструктура Anthropic сегодня.

8. С кем не путать anthropic-ai

Бот / сосед Кластер UA Комментарий
ClaudeBot AI и LLM-краулеры claudebot действующий, официально документированный краулер Anthropic для тренировки моделей
Claude-SearchBot AI и LLM-краулеры claude-searchbot действующий краулер Anthropic для поискового индекса и цитирований
Claude-User AI и LLM-краулеры claude-user действующий агент Anthropic, получает страницу по запросу пользователя Claude
Claude-Web AI и LLM-краулеры claude-web ещё один устаревший токен того же периода, также исключён из актуальной документации
AI2Bot AI и LLM-краулеры ai2bot другой оператор (Ai2), не связан с Anthropic

9. Стратегия allow/deny для anthropic-ai

Ситуация Действие
Нужно управлять участием в тренировке моделей Claude сегодня Настроить правило под ClaudeBot, не под anthropic-ai
Нужны цитирования в ответах Claude Разрешить Claude-SearchBot
Токен anthropic-ai встречается в логах Можно оставить существующее правило или удалить — реального эффекта нет
Нежелательный по базе TrafficVeil Не критично для устаревшего токена; сфокусируйтесь на трёх актуальных именах
Подозрение на spoofing UA Повышенное — устаревшее имя без соответствия действующей инфраструктуре скорее повод для проверки, чем для доверия
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

anthropic-ai всё ещё используется Anthropic?
Нет, в феврале 2026 года компания обновила документацию и исключила этот токен вместе со старым Claude-Web — ни один действующий краулер ему больше не соответствует.
Какие токены Anthropic использует сегодня?
Три отдельных: ClaudeBot для сбора тренировочных данных, Claude-SearchBot для поискового индекса и цитирований, Claude-User для получения страницы по запросу пользователя Claude.
Соблюдают ли эти три краулера robots.txt?
Да, по официальному заявлению Anthropic все три соблюдают правила, и каждый управляется в файле независимо от остальных.
Что будет, если заблокировать только anthropic-ai?
Скорее всего ничего не изменится — это не тот токен, который использует действующая инфраструктура Anthropic, поэтому реального эффекта такое правило не даёт.
Как заблокировать участие сайта в тренировке моделей Claude, но сохранить цитирования?
Заблокировать ClaudeBot и одновременно оставить разрешённым Claude-SearchBot — эти два токена управляются независимо друг от друга.
Стоит ли доверять трафику с UA anthropic-ai в логах сегодня?
Не безусловно — раз токен официально устарел, совпадение имени не гарантирует связь с реальной инфраструктурой Anthropic, и стоит проверять это отдельно.
#anthropic-ai#ClaudeBot#Claude-SearchBot#Claude-User#Anthropic#устаревшие токены#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота AnthropicAI: легитимный ai и llm-краулеры
Боты·5 мин

Anthropic-ai: устаревший токен Claude — почему сегодня нужны три отдельных правила вместо одного

anthropic-ai и Claude-Web — деприкейтнутые идентификаторы, официально заменённые тремя раздельными краулерами: ClaudeBot (обучение), Claude-User (запрос по инициативе пользователя в диалоге) и Claude-SearchBot (поиск внутри Claude). Разбираем, зачем Anthropic разделила бота на три, что означает появление старого UA в логах в 2026 году, и как настроить robots.txt под актуальную схему.

Читать
Уникальная иллюстрация бота Claude Code: нежелательный ai и llm-краулеры
Боты·6 мин

Claude Code в логах: разработчик, а не сборщик данных

Разбираем Claude Code — официально задокументированный бот Anthropic для их CLI-инструмента программирования, который запрашивает страницы по инициативе конкретного разработчика, а не собирает контент фоново. Показываем, почему IP-верификация здесь ненадёжна, и как настроить allow/deny.

Читать
Уникальная иллюстрация бота Claude Web: нежелательный ai и llm-краулеры
Боты·6 мин

Claude Web в логах: устаревший токен, не текущий Claude

Разбираем Claude Web — исторический токен Anthropic, официально исключённый из документации в феврале 2026 года вместе с anthropic-ai. Показываем четыре актуальных бота (ClaudeBot, Claude-SearchBot, Claude-User, Claude Code) и как правильно управлять видимостью сайта для Claude сегодня.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil