Claude Search Bot

Для веб-мастеров это ключевой агент, если цель — появляться в поисковых ответах Claude с цитированием: Anthropic официально предупреждает, что блокировка Claude-SearchBot «может снизить видимость и точность вашего сайта в результатах пользовательского поиска» внутри Claude.

1. Что такое Claude-SearchBot

Параметр	Значение
User-Agent (токен)	Claude-SearchBot
Полная строка UA	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)
Оператор	Anthropic
Назначение	Индексация контента для повышения качества и релевантности поисковых ответов Claude
Официальная документация	Claude Help Center — «Does Anthropic crawl data from the web...»
Список IP-адресов	❌ Официально не публикуется
Соблюдение robots.txt	Да, официально подтверждено, включая Crawl-delay
Используется для обучения моделей	Нет
Формирует цитируемые ссылки на источник	Да — при включённых цитированиях Claude возвращает структурированные ссылки на источник

---

2. Как работает Claude-SearchBot

• Проводит непрерывную, плановую индексацию контента с ограничением частоты запросов (rate-limited), чтобы не перегружать серверы;
• Приоритизирует домены с высокой информационной ценностью и частым обновлением контента — новости, исследования, каталоги товаров;
• Соблюдает Crawl-delay и стандартные директивы robots.txt так же строго, как ClaudeBot;
• Питает поисковый (retrieval) слой Claude — то есть напрямую влияет на то, сможет ли Claude найти и процитировать вашу страницу в ответ на вопрос пользователя.

3. Нагрузка на сервер

По данным мониторинга bot-трафика trafficveil (ClickHouse, 696 доменов, 161 уникальный бот, март–июнь 2026) поисковые краулеры категории AI-search, включая Claude-SearchBot, как правило создают более регулярный, но умеренный поток запросов по сравнению с обучающими краулерами — особенно заметный на сайтах с часто обновляемым контентом (новости, блоги, каталоги), которые этот агент приоритизирует для поддержания актуальности индекса.

4. Обнаружение в логах

Поиск по User-Agent

# Все запросы от Claude-SearchBot
grep "Claude-SearchBot" /var/log/nginx/access.log

# Количество запросов за сегодня
grep "Claude-SearchBot" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l

# Уникальные IP-адреса
grep "Claude-SearchBot" /var/log/nginx/access.log | awk '{print $1}' | sort -u

# Частота визитов по дням (проверка регулярности индексации)
grep "Claude-SearchBot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация — почему IP-блокировка здесь не работает как обычно

Как и для остальных ботов Anthropic, официального списка IP для Claude-SearchBot нет. Компания прямо рекомендует не полагаться на блокировку IP-диапазонов облачных провайдеров, так как это может помешать боту прочитать сам robots.txt.

# Вспомогательная проверка через reverse DNS
IP="1.2.3.4"
dig +short -x "$IP"

5. robots.txt

# Разрешить индексацию для поиска Claude, запретить использование в обучении
User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

# Полная блокировка поисковой индексации Claude
User-agent: Claude-SearchBot
Disallow: /

# Ограничение частоты вместо полной блокировки
User-agent: Claude-SearchBot
Crawl-delay: 1

# Точечное ограничение — закрыть служебные разделы
User-agent: Claude-SearchBot
Disallow: /admin/
Disallow: /cart/
Allow: /

6. Управление на уровне сервера

Nginx

if ($http_user_agent ~* "Claude-SearchBot") {
    return 403;
}

# Мягкий вариант — ограничение частоты запросов
limit_req_zone $binary_remote_addr zone=claudesearch:10m rate=15r/m;

location / {
    if ($http_user_agent ~* "Claude-SearchBot") {
        limit_req zone=claudesearch burst=30 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Claude-SearchBot [NC]
RewriteRule ^ - [F,L]

7. Рекомендации по оптимизации

• Если цель — цитирования и трафик из Claude, Claude-SearchBot нельзя блокировать случайно — проверьте, что широкие правила вида Disallow: / для User-agent: * не перекрывают доступ этому агенту;
• Разрешение Claude-SearchBot не означает автоматическое разрешение ClaudeBot — можно быть видимым в поиске Claude, не отдавая контент на обучение моделей;
• Контент должен рендериться на сервере — способность Claude-SearchBot полноценно выполнять JavaScript официально не задокументирована, безопаснее не полагаться на клиентский рендеринг;
• Используйте Crawl-delay вместо полной блокировки, если беспокоит частота визитов, а не сам факт индексации;
• Если наблюдаете сканирование после блокировки — Anthropic рекомендует обращаться в поддержку с указанием домена, а не пытаться диагностировать проблему через блокировку IP.

8. Сравнение с похожими ботами

Бот	Оператор	Назначение	Список IP
Claude-SearchBot	Anthropic	Поиск Claude	❌ Нет
ClaudeBot	Anthropic	Обучение моделей	❌ Нет
Claude-User	Anthropic	Запросы пользователя в моменте	❌ Нет
OAI-SearchBot	OpenAI	Поиск ChatGPT	✅ Есть
PerplexityBot	Perplexity	Индекс для AI-поиска	✅ Есть
Google-Extended	Google	Обучение Gemini	✅ Есть (диапазоны Googlebot)

9. Сводная таблица стратегии

Цель сайта	Рекомендация
Хочу трафик и цитирования из Claude	Allow для Claude-SearchBot; контент без обязательного JS-рендеринга
Не хочу участвовать в поиске Claude ни в каком виде	Disallow для Claude-SearchBot
Хочу поиск, но не обучение моделей	Allow для Claude-SearchBot + Disallow для ClaudeBot
Беспокоит частота визитов, но не сам факт индексации	Crawl-delay в правиле для Claude-SearchBot