В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а Claude Web с User-Agent claude-web. Важное уточнение по итогам проверки: это, как и anthropic-ai, исторический токен. В феврале 2026 года Anthropic обновила документацию по своим краулерам и прямо исключила Claude-Web из актуального списка — по независимым источникам, отслеживающим это обновление, «правила для них ничего не делают, поскольку ни один текущий краулер им не соответствует».
1. Что такое Claude Web
До февраля 2026 года структура ботов Anthropic была куда проще и менее гранулярной — компания описывала сбор данных общими формулировками под именами Claude-Web и anthropic-ai. С обновлением документации актуальная схема стала намного точнее: сегодня Anthropic официально называет четыре отдельных бота с разным назначением — ClaudeBot (сбор данных для тренировки моделей), Claude-SearchBot (построение поискового индекса для цитирований), Claude-User (получение конкретной страницы в реальном времени по запросу пользователя claude.ai) и Claude Code (клиент CLI-инструмента для разработчиков). Все они, по официальному заявлению компании, соблюдают robots.txt и управляются в файле независимо друг от друга. Token «claude-web», описанный в исходном черновике как «агент для загрузки страниц при ответах пользователя в веб-интерфейсе», сегодня по смыслу и функции ближе всего к тому, что теперь называется Claude-User — но это не одно и то же имя, и правило под старым токеном не действует на новую инфраструктуру.
| Название | Claude Web (устаревший токен) |
| User-Agent / паттерн | claude-web — по актуальной документации не соответствует ни одному действующему краулеру Anthropic |
| Оператор | Исторически — Anthropic; для трафика с этим UA в 2026 году соответствие текущей инфраструктуре компании не подтверждено |
| Роль | Историческая — забор страниц для ответов пользователя в веб-интерфейсе; сегодня эту функцию явно и отдельно выполняет Claude-User |
| Документация / ориентир | Официальная и актуальная документация Anthropic по краулерам описывает ClaudeBot, Claude-SearchBot, Claude-User и Claude Code — токена claude-web в текущей версии страницы нет |
| Список IP | Актуальный список IP публикуется Anthropic для действующих краулеров; для устаревшего claude-web отдельной актуальной верификации нет |
| robots.txt | Действующие краулеры Anthropic официально соблюдают robots.txt; для нерабочего/устаревшего токена claude-web поведение не задокументировано, поскольку он не является активной инфраструктурой |
| Пометка TrafficVeil | Нежелательный / AI и LLM-краулеры |
2. Зачем Claude Web приходит на сайт
Раз этот токен исключён из актуальной документации компании, у трафика с таким UA в 2026 году нет однозначного законного объяснения со стороны Anthropic. Правдоподобные причины: (а) старый, давно не обновлявшийся скрипт или интеграция, где имя claude-web осталось захардкоженным с более раннего периода; (б) спуфинг — кто-то намеренно выдаёт себя за Anthropic под устаревшим, но узнаваемым именем; (в) сторонний каталог ботов или инструмент тестирования, который проверяет старые токены из своей базы. Если цель — понять, действительно ли сайт посещают краулеры Anthropic сегодня, разумнее искать актуальные токены ClaudeBot, Claude-SearchBot, Claude-User и Claude Code, а не claude-web.
- Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога — по шаблону категории, но для устаревшего токена эта информация не актуальна для реальной инфраструктуры компании;
- Что ищет: исторически — контент для ответа пользователю в реальном времени; сегодня эту роль официально выполняет Claude-User под собственным именем;
- Чем отличается от браузерного пользователя: нет нормальной сессии, но само по себе это не помогает определить, связан ли трафик с Anthropic на самом деле.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует claude-web на пагинации и карточках. Прежде чем реагировать как на «трафик Anthropic», стоит вспомнить: актуальная документация компании этот токен больше не признаёт.
3. Нагрузка и риски именно для Claude Web
Отдельной строки в публичной сводке top-bot TrafficVeil у claude-web может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: нагрузка может быть «тихой» — не DDoS в классическом смысле, но постоянный съём HTML и рост bandwidth. Для этого конкретного токена риск смещается в сторону неопределённности идентичности: раз он официально устарел, полагаться на репутацию Anthropic при оценке рисков от такого трафика не стоит.
4. Как найти Claude Web в логах
Не ищите «просто ботов» — ищите конкретный токен claude-web, но обязательно сравнивайте с актуальными токенами Anthropic.
# Базовый поиск устаревшего токена
grep -i "claude-web" /var/log/nginx/access.log
# Сравнить с действующими краулерами Anthropic
grep -iE "claudebot|claude-searchbot|claude-user|claude-code" /var/log/nginx/access.log | wc -l
# Топ URL, которые вычитывает бот с устаревшим токеном
grep -i "claude-web" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "claude-web" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "claude-web" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация. Подделать User-Agent может любой скрипт, а для устаревшего токена это особенно вероятно: узнаваемое, но более не актуальное имя может использоваться для маскировки. Официальная актуальная верификация (IP, задокументированное поведение) существует для действующих краулеров Anthropic — ClaudeBot, Claude-SearchBot, Claude-User, Claude Code; для claude-web она не поддерживается.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для Claude Web
# Правило технически валидно, но по актуальной документации Anthropic
# не соответствует ни одному действующему краулеру
User-agent: claude-web
Disallow: /
# Для реального управления доступом Anthropic сегодня используйте актуальные токены:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: claude-code
Allow: /Важно: правило именно под claude-web можно спокойно оставить или удалить — реального эффекта на текущую инфраструктуру Anthropic оно не имеет. Если цель — управлять видимостью сайта для Claude сегодня, работайте с четырьмя актуальными токенами: ClaudeBot определяет участие в тренировке моделей, Claude-SearchBot — попадание в поисковый индекс и цитирования, Claude-User — доступность страницы по прямому запросу пользователя claude.ai, а claude-code — использование сайта разработчиками через CLI-инструмент.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "claude-web") {
return 403;
}
limit_req_zone $binary_remote_addr zone=claudeweb:10m rate=10r/m;
location / {
if ($http_user_agent ~* "claude-web") {
limit_req zone=claudeweb burst=20 nodelay;
}
}TrafficVeil
- Найдите claude-web в ботах домена или в /system/bots;
- Учитывая устаревший статус токена, блокировка практически не влияет на текущие отношения с Anthropic — для реального управления настройте отдельные правила под ClaudeBot, Claude-SearchBot, Claude-User и claude-code;
- После изменения сверьте логи и, отдельно, наличие правил именно под четыре актуальных токена, если управление видимостью в Claude для вас важно.
7. Рекомендации: что делать с Claude Web
- Правило под claude-web можно оставить как есть или удалить — реального эффекта на действующую инфраструктуру Anthropic оно не даёт;
- Если важно управлять участием в тренировке моделей Claude — настройте правило именно под ClaudeBot;
- Если важны цитирования в ответах Claude — не блокируйте Claude-SearchBot;
- Если важна доступность страницы по прямому запросу пользователей claude.ai — не блокируйте Claude-User;
- Если сайт публикует техническую документацию, полезную разработчикам, — учитывайте отдельно claude-code;
- Что будет при блокировке только claude-web: скорее всего ничего не изменится — это не тот токен, который использует действующая инфраструктура Anthropic сегодня.
8. С кем не путать Claude Web
| Бот / сосед | Кластер | UA | Комментарий |
| Claude-User | AI и LLM-краулеры | claude-user | действующий, официально документированный преемник по смыслу — получение страницы по запросу пользователя claude.ai |
| ClaudeBot | AI и LLM-краулеры | claudebot | действующий краулер Anthropic для тренировки моделей |
| Claude-SearchBot | AI и LLM-краулеры | claude-searchbot | действующий краулер Anthropic для поискового индекса и цитирований |
| Claude Code | AI и LLM-краулеры | claude-code | действующий, отдельный бот для CLI-инструмента разработчиков |
| anthropic-ai | AI и LLM-краулеры | anthropic-ai | ещё один устаревший токен того же периода, также исключён из актуальной документации |
9. Стратегия allow/deny для Claude Web
| Ситуация | Действие |
| Нужно управлять доступностью страницы для запросов claude.ai сегодня | Настроить правило под Claude-User, не под claude-web |
| Нужны цитирования в ответах Claude | Разрешить Claude-SearchBot |
| Токен claude-web встречается в логах | Можно оставить существующее правило или удалить — реального эффекта нет |
| Нежелательный по базе TrafficVeil | Не критично для устаревшего токена; сфокусируйтесь на четырёх актуальных именах |
| Подозрение на spoofing UA | Повышенное — устаревшее имя без соответствия действующей инфраструктуре скорее повод для проверки, чем для доверия |