В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а бот с User-Agent anthropic-ai. Важное уточнение по итогам проверки: это исторический, ныне устаревший токен. В феврале 2026 года Anthropic обновила документацию по своим краулерам и прямо исключила anthropic-ai (вместе со старым Claude-Web) из актуального списка — по независимым источникам, отслеживающим эти изменения, «правила для них ничего не делают, поскольку ни один текущий краулер им не соответствует». Если в 2026 году в логах встречается именно этот UA, к нему стоит относиться с большей осторожностью, чем предполагает пометка «Оператор: Anthropic» в исходном описании.
1. Что такое anthropic-ai
До того как Anthropic консолидировала своих краулеров под понятными отдельными именами, компания использовала anthropic-ai как общий токен для сбора данных с открытого веба на нужды тренировки моделей. С обновлением документации в феврале 2026 года актуальная структура стала куда более гранулярной: сегодня Anthropic официально называет три отдельных краулера с разным назначением — ClaudeBot (сбор данных для тренировки моделей), Claude-SearchBot (построение поискового индекса, от которого зависит, может ли Claude процитировать сайт) и Claude-User (получение конкретной страницы в реальном времени, когда пользователь Claude просит открыть ссылку). Все три, по официальному заявлению компании, соблюдают robots.txt, и каждый управляется в файле независимо от других.
| Название | anthropic-ai (устаревший токен) |
| User-Agent / паттерн | anthropic-ai — по актуальной документации не соответствует ни одному действующему краулеру Anthropic |
| Оператор | Исторически — Anthropic; для трафика с этим UA в 2026 году соответствие текущей инфраструктуре компании не подтверждено |
| Роль | Историческая — общий сбор данных для тренировки моделей; сегодня эту функцию явно и отдельно выполняет ClaudeBot |
| Документация / ориентир | Официальная и актуальная документация Anthropic по краулерам описывает ClaudeBot, Claude-SearchBot и Claude-User — токена anthropic-ai в текущей версии страницы нет |
| Список IP | Актуальный список IP публикуется Anthropic для действующих краулеров (ClaudeBot и других); для устаревшего anthropic-ai отдельной актуальной верификации нет |
| robots.txt | Действующие краулеры Anthropic официально соблюдают robots.txt; для нерабочего/устаревшего токена anthropic-ai поведение не задокументировано, поскольку он не является активной инфраструктурой |
| Пометка TrafficVeil | Нежелательный / AI и LLM-краулеры |
2. Зачем anthropic-ai приходит на сайт
Раз этот токен исключён из актуальной документации компании, у трафика с таким UA в 2026 году нет однозначного законного объяснения со стороны Anthropic. Правдоподобные причины: (а) старый, давно не обновлявшийся скрипт или библиотека, где имя anthropic-ai осталось захардкоженным с более раннего периода; (б) спуфинг — кто-то намеренно выдаёт себя за Anthropic под устаревшим, но узнаваемым именем; (в) стороннее исследование или каталог ботов, который просто тестирует старые токены из своей базы. Если цель — понять, действительно ли сайт посещают краулеры Anthropic сегодня, разумнее искать актуальные токены ClaudeBot, Claude-SearchBot и Claude-User, а не anthropic-ai.
- Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога — по шаблону категории, но для устаревшего токена эта информация не актуальна для реальной инфраструктуры компании;
- Что ищет: исторически — контент для тренировочной выборки; сегодня эту роль официально выполняет ClaudeBot под собственным именем;
- Чем отличается от браузерного пользователя: нет нормальной сессии, но само по себе это не помогает определить, связан ли трафик с Anthropic на самом деле.
Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по anthropic-ai показывает системный обход блога, каталога и новостей — прежде чем реагировать как на «трафик Anthropic», стоит вспомнить: актуальная документация компании этот токен больше не признаёт.
3. Нагрузка и риски именно для anthropic-ai
Отдельной строки в публичной сводке top-bot TrafficVeil у anthropic-ai может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: даже при соблюдении robots.txt часть соседних AI-агентов того же исторического семейства может вести себя иначе. Для этого конкретного токена риск смещается в сторону неопределённности идентичности: раз он официально устарел, полагаться на репутацию Anthropic при оценке рисков от такого трафика не стоит.
4. Как найти anthropic-ai в логах
Не ищите «просто ботов» — ищите конкретный токен anthropic-ai, но обязательно сравнивайте с актуальными токенами Anthropic.
# Базовый поиск устаревшего токена
grep -i "anthropic-ai" /var/log/nginx/access.log
# Сравнить с действующими краулерами Anthropic
grep -iE "claudebot|claude-searchbot|claude-user" /var/log/nginx/access.log | wc -l
# Топ URL, которые вычитывает бот с устаревшим токеном
grep -i "anthropic-ai" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "anthropic-ai" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "anthropic-ai" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация. Подделать User-Agent может любой скрипт, а для устаревшего токена это особенно вероятно: узнаваемое, но более не актуальное имя может использоваться для маскировки. Официальная актуальная верификация (IP, задокументированное поведение) существует для действующих краулеров Anthropic — ClaudeBot, Claude-SearchBot, Claude-User; для anthropic-ai она не поддерживается.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для anthropic-ai
# Правило технически валидно, но по актуальной документации Anthropic
# не соответствует ни одному действующему краулеру
User-agent: anthropic-ai
Disallow: /
# Для реального управления доступом Anthropic сегодня используйте актуальные токены:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /Важно: правило именно под anthropic-ai можно спокойно оставить или удалить — реального эффекта на текущую инфраструктуру Anthropic оно не имеет. Если цель — управлять видимостью сайта для Claude сегодня, работайте с тремя актуальными токенами: ClaudeBot определяет участие в тренировке моделей, Claude-SearchBot — попадание в поисковый индекс и цитирования, Claude-User — доступность страницы по прямому запросу пользователя Claude.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "anthropic-ai") {
return 403;
}
limit_req_zone $binary_remote_addr zone=anthropicai:10m rate=10r/m;
location / {
if ($http_user_agent ~* "anthropic-ai") {
limit_req zone=anthropicai burst=20 nodelay;
}
}TrafficVeil
- Найдите anthropic-ai в ботах домена или в /system/bots;
- Учитывая устаревший статус токена, блокировка практически не влияет на текущие отношения с Anthropic — для реального управления настройте отдельные правила под ClaudeBot, Claude-SearchBot и Claude-User;
- После изменения сверьте логи и, отдельно, наличие правил именно под три актуальных токена, если управление видимостью в Claude для вас важно.
7. Рекомендации: что делать с anthropic-ai
- Правило под anthropic-ai можно оставить как есть или удалить — реального эффекта на действующую инфраструктуру Anthropic оно не даёт;
- Если важно управлять участием в тренировке моделей Claude — настройте правило именно под ClaudeBot;
- Если важны цитирования в ответах Claude — не блокируйте Claude-SearchBot;
- Если важна доступность страницы по прямому запросу пользователей Claude — не блокируйте Claude-User;
- Что будет при блокировке только anthropic-ai: скорее всего ничего не изменится — это не тот токен, который использует действующая инфраструктура Anthropic сегодня.
8. С кем не путать anthropic-ai
| Бот / сосед | Кластер | UA | Комментарий |
| ClaudeBot | AI и LLM-краулеры | claudebot | действующий, официально документированный краулер Anthropic для тренировки моделей |
| Claude-SearchBot | AI и LLM-краулеры | claude-searchbot | действующий краулер Anthropic для поискового индекса и цитирований |
| Claude-User | AI и LLM-краулеры | claude-user | действующий агент Anthropic, получает страницу по запросу пользователя Claude |
| Claude-Web | AI и LLM-краулеры | claude-web | ещё один устаревший токен того же периода, также исключён из актуальной документации |
| AI2Bot | AI и LLM-краулеры | ai2bot | другой оператор (Ai2), не связан с Anthropic |
9. Стратегия allow/deny для anthropic-ai
| Ситуация | Действие |
| Нужно управлять участием в тренировке моделей Claude сегодня | Настроить правило под ClaudeBot, не под anthropic-ai |
| Нужны цитирования в ответах Claude | Разрешить Claude-SearchBot |
| Токен anthropic-ai встречается в логах | Можно оставить существующее правило или удалить — реального эффекта нет |
| Нежелательный по базе TrafficVeil | Не критично для устаревшего токена; сфокусируйтесь на трёх актуальных именах |
| Подозрение на spoofing UA | Повышенное — устаревшее имя без соответствия действующей инфраструктуре скорее повод для проверки, чем для доверия |