Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

Claude Code в логах: разработчик, а не сборщик данных

Разбираем Claude Code — официально задокументированный бот Anthropic для их CLI-инструмента программирования, который запрашивает страницы по инициативе конкретного разработчика, а не собирает контент фоново. Показываем, почему IP-верификация здесь ненадёжна, и как настроить allow/deny.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота Claude Code: нежелательный ai и llm-краулеры

Если фильтровать access.log по claude-code, часто всплывает целый пласт машинных хитов — это и есть Claude Code. Важное уточнение по итогам проверки: это не фоновый краулер, который систематически собирает контент как сырьё для AI-индекса, а официально задокументированный четвёртый бот в семействе Anthropic — клиент CLI-инструмента Claude Code, который обращается к конкретному URL по инициативе конкретного разработчика во время работы над задачей.

1. Что такое Claude Code

Claude Code — агентный инструмент для написания и отладки кода, встроенный инструмент которого (WebFetch) позволяет разработчику попросить агента посмотреть документацию API, страницу README библиотеки или другой веб-ресурс прямо в процессе работы над кодом. Именно эти обращения и оставляют токен claude-code в access.log. По независимым каталогам ботов, инструмент официально задокументирован Anthropic наравне с тремя другими их ботами — ClaudeBot (тренировка моделей), Claude-User (запросы пользователей claude.ai) и Claude-SearchBot (поисковый индекс) — и, как и они, соблюдает robots.txt.

Название Claude Code
User-Agent / паттерн claude-code
Оператор Anthropic — официально задокументированный четвёртый бот в их семействе, отдельно от ClaudeBot/Claude-User/Claude-SearchBot
Роль Клиент CLI-инструмента Claude Code выполняет запрос к URL по инициативе конкретного разработчика в процессе написания или отладки кода (например, чтобы прочитать документацию API) — это не систематический сбор контента, а разовый точечный fetch под конкретную задачу
Документация / ориентир Официальный справочный центр Anthropic по ботам и их поведению в robots.txt; независимые каталоги ботов подтверждают эту документацию
Список IP Важный нюанс: запросы Claude Code часто выполняются буквально с машины разработчика (локально, через инструмент WebFetch), а не из облачной инфраструктуры Anthropic — то есть IP может принадлежать обычному пользователю (домашнему или корпоративному провайдеру), а не публикуемым диапазонам Anthropic
robots.txt Официально соблюдается, как и у трёх других ботов Anthropic (ClaudeBot, Claude-User, Claude-SearchBot)
Пометка TrafficVeil Нежелательный / AI и LLM-краулеры

2. Зачем Claude Code приходит на сайт

В отличие от шаблонного предположения категории («ваш контент интересен как сырьё для AI-продукта»), присутствие claude-code в логах чаще означает нечто более узкое и человекоориентированное: конкретный разработчик, работающий с Claude Code над своим проектом, попросил агента (или агент сам решил, выполняя задачу) заглянуть на конкретную страницу — документацию, спецификацию API, пример кода. Это не индексация «про запас» и не тренировочный сбор данных, а разовый запрос под конкретную сессию разработки.

  • Какие зоны чаще трогает: документация API, README-файлы, технические спецификации, страницы с примерами кода — а не /blog/, /product/, /category/ в общем смысле, если только именно эти разделы не стали предметом задачи разработчика;
  • Что ищет: конкретную техническую информацию, релевантную задаче, над которой в данный момент работает разработчик через Claude Code;
  • Чем отличается от браузерного пользователя: нет продолжительной пользовательской сессии в привычном смысле, но запрос инициирован конкретным человеком и его текущей задачей, а не автономным расписанием обхода.

Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по claude-code показывает единичные или редкие обращения к конкретным техническим страницам — если сайт публикует документацию, API-референс или подобный технический контент, это, вероятнее всего, разработчики используют его как справочный материал через свой инструмент, а не признак систематического сбора данных.

3. Нагрузка и риски именно для Claude Code

Отдельной строки в публичной сводке top-bot TrafficVeil у claude-code может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон. Для этого конкретного бота риск отличается от типичного «тихого съёма HTML в промышленных масштабах»: поскольку запросы инициированы отдельными разработчиками под конкретные задачи, а не систематическим обходом, серьёзной агрегированной нагрузки claude-code обычно не создаёт — независимый каталог ботов присваивает ему статус «Safe» (проверенный и в целом уважаемый SEO-сообществом).

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти Claude Code в логах

Не ищите «просто ботов» — ищите конкретный токен claude-code и рядом смотрите соседей по семейству ботов Anthropic.

# Базовый поиск
grep -i "claude-code" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот — ожидаемо документация, API, README
grep -i "claude-code" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — ожидайте разнообразие (могут быть IP конкретных разработчиков, не облако Anthropic)
grep -i "claude-code" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "claude-code" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Сравнить с остальными ботами семейства Anthropic
grep -iE "claude-code|claudebot|claude-user|claude-searchbot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Здесь верификация по IP особенно ненадёжна: поскольку инструмент часто работает буквально с машины разработчика, а не из облака Anthropic, IP может принадлежать обычному провайдеру, и сверка с официальными диапазонами Anthropic для этого конкретного бота может не сработать так же, как для ClaudeBot.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Claude Code

# Жёсткий запрет
User-agent: claude-code
Disallow: /

# Разрешить всё
User-agent: claude-code
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: claude-code
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow, если контент не должен использоваться в AI-обучении, — по независимым данным, блокировка claude-code влияет именно на этот аспект и не затрагивает поисковую видимость или обычный трафик сайта. Если сайт публикует документацию или технические материалы, которые разработчики закономерно используют как справочник через свои инструменты, стоит взвесить: блокировка также помешает и этому легитимному, человеко-инициированному использованию.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "claude-code") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_28e174396028_key {
    default "";
    "~*claude-code" $binary_remote_addr;
}
limit_req_zone $tv_ng_28e174396028_key zone=tv_ng_28e174396028:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_28e174396028 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} claude-code [NC]
RewriteRule ^ - [F,L]

TrafficVeil

  • Найдите claude-code в ботах домена или в /system/bots;
  • Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
  • Allow оставляйте, если сайт публикует техническую документацию и заинтересован в том, чтобы разработчики могли легко ссылаться на неё через свои AI-инструменты;
  • После изменения сверьте логи: хиты claude-code должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с Claude Code

  • Блокировка почти не бьёт по классическому SEO Google/Yandex и не затрагивает обычный пользовательский трафик — она относится именно к вопросу участия контента в AI-обучении;
  • Если сайт публикует API-документацию, технические гайды или подобный справочный контент — учитывайте, что claude-code часто используется добросовестными разработчиками как рабочий инструмент, а не только как сборщик данных;
  • Если пользы нет — Disallow/403 для claude-code;
  • Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
  • Не путайте с другими ботами семейства Anthropic — блокировка claude-code не влияет на поведение ClaudeBot, Claude-User или Claude-SearchBot, у каждого свои правила.

8. С кем не путать Claude Code

Бот / сосед Кластер UA Комментарий
ClaudeBot AI и LLM-краулеры claudebot тот же оператор — систематический тренировочный краулер, а не разовый fetch по задаче разработчика
Claude-User AI и LLM-краулеры claude-user тот же оператор — запросы пользователей claude.ai, а не разработчиков в CLI-инструменте
Claude-SearchBot AI и LLM-краулеры claude-searchbot тот же оператор — построение поискового индекса для цитирований
anthropic-ai AI и LLM-краулеры anthropic-ai устаревший, депрекированный токен того же оператора — не соответствует действующей инфраструктуре
AI2Bot AI и LLM-краулеры ai2bot другой оператор (Allen Institute for AI), не связан с Anthropic

9. Стратегия allow/deny для Claude Code

Ситуация Действие
Сайт публикует техническую документацию, полезную разработчикам Allow — claude-code часто используется добросовестно как справочный инструмент
Принципиально против участия в AI-обучении Disallow — влияет именно на этот аспект, не на SEO
Нужен доступ, но пики мешают Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil Deny по умолчанию, исключения — точечно
Подозрение на spoofing UA IP-верификация здесь менее надёжна, чем для ClaudeBot — запросы могут идти с машины конкретного разработчика, а не из облака Anthropic
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Claude Code — это тот же бот, что ClaudeBot?
Нет, это отдельный, четвёртый бот в семействе Anthropic — клиент CLI-инструмента для программирования, а не систематический тренировочный краулер.
Почему запросы Claude Code приходят с необычных IP?
Потому что инструмент часто работает буквально с машины разработчика, а не из облачной инфраструктуры Anthropic, поэтому IP может принадлежать обычному провайдеру.
Зачем разработчику вообще нужно, чтобы Claude Code заходил на сторонний сайт?
Чтобы прочитать документацию API, README библиотеки или техническую спецификацию прямо в процессе написания кода — это рабочий инструмент, а не фоновый сборщик данных.
Влияет ли блокировка Claude Code на позиции сайта в поиске?
Нет, по независимым данным блокировка касается именно участия контента в AI-обучении и не отражается на SEO или обычном пользовательском трафике.
Соблюдает ли Claude Code правила robots.txt?
Да, официально подтверждено — как и три других бота Anthropic (ClaudeBot, Claude-User, Claude-SearchBot).
Стоит ли блокировать Claude Code сайту с технической документацией?
Стоит сначала взвесить: такой контент часто используется добросовестными разработчиками через этот инструмент как справочник, и блокировка помешает именно этому легитимному сценарию.
#Claude Code#Anthropic#ClaudeBot#AI-краулеры#анализ логов#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота AnthropicBot: нежелательный бот
Боты·6 мин

Anthropic-ai в логах: устаревший токен, не текущий Claude

Разбираем anthropic-ai — исторический токен Anthropic, официально исключённый из документации в феврале 2026 года. Показываем три актуальных краулера (ClaudeBot, Claude-SearchBot, Claude-User) и как правильно управлять видимостью сайта в Claude сегодня.

Читать
Уникальная иллюстрация бота Claude Web: нежелательный ai и llm-краулеры
Боты·6 мин

Claude Web в логах: устаревший токен, не текущий Claude

Разбираем Claude Web — исторический токен Anthropic, официально исключённый из документации в феврале 2026 года вместе с anthropic-ai. Показываем четыре актуальных бота (ClaudeBot, Claude-SearchBot, Claude-User, Claude Code) и как правильно управлять видимостью сайта для Claude сегодня.

Читать
Уникальная иллюстрация бота AnthropicAI: легитимный ai и llm-краулеры
Боты·5 мин

Anthropic-ai: устаревший токен Claude — почему сегодня нужны три отдельных правила вместо одного

anthropic-ai и Claude-Web — деприкейтнутые идентификаторы, официально заменённые тремя раздельными краулерами: ClaudeBot (обучение), Claude-User (запрос по инициативе пользователя в диалоге) и Claude-SearchBot (поиск внутри Claude). Разбираем, зачем Anthropic разделила бота на три, что означает появление старого UA в логах в 2026 году, и как настроить robots.txt под актуальную схему.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil