Строка agentreadinessscanner в логах чаще всего попадает в общую графу «интеграции и верификация от имени пользователя сервиса» — размыто и неточно. На деле это официальный диагностический инструмент Cloudflare, подтверждённый на собственном Cloudflare Radar: сканер, который проверяет, насколько сайт готов к взаимодействию с AI-агентами вроде ChatGPT, Claude и Perplexity.
Что такое AgentReadinessScanner на самом деле
AgentReadinessScanner — бот, которым управляет Cloudflare в рамках бесплатного инструмента «Is It Agent Ready?»: пользователь вводит URL, и сервис проверяет сайт по нескольким категориям — обнаруживаемость (robots.txt, sitemap), доступность контента, правила для ботов, поддержку протоколов вроде MCP и llms.txt, а также готовность к agentic-коммерции (x402, UCP, ACP). По итогам сканирования формируется отчёт с оценкой и рекомендациями, которые можно передать разработчику или вставить прямо в такие инструменты, как Cursor или Claude Code.
| Параметр | Значение |
| Название | AgentReadinessScanner |
| User-Agent / паттерн | agentreadinessscanner |
| Оператор | Cloudflare — подтверждено официально на Cloudflare Radar |
| Категория TrafficVeil | Диагностический сканер AI-готовности сайта (не проверка интеграции/webhook) |
| Что делает на сайте | Проверяет robots.txt, llms.txt, структурированные данные, security-заголовки и поддержку agent-протоколов по запросу пользователя инструмента |
| Список IP | ❌ Отдельного публичного списка нет, но поддерживается криптографическая верификация через Web Bot Auth |
| robots.txt | Публичной политики соблюдения robots.txt по умолчанию не заявлено — верифицируйте через Web Bot Auth или IP/ASN |
| Пометка TrafficVeil | Легитимный — управляется крупным, публично подтверждённым оператором |
Зачем AgentReadinessScanner приходит на сайт
Визит триггерится не автономным расписанием бота «на всякий случай», а конкретным действием: кто-то — часто сам владелец сайта, его разработчик или SEO-специалист — ввёл URL в сканер, чтобы проверить готовность сайта к AI-агентам. Cloudflare отмечает, что доступ к боту может быть «прямым» (управляется самим Cloudflare) или «посредническим» (инициируется конечным пользователем инструмента) — то есть один и тот же UA может стоять и за разовой ручной проверкой, и за периодическим мониторингом, если кто-то настроил повторные сканы.
Почему это не проверка виджета или webhook
Формулировка «подтверждает корректность интеграции от имени пользователя сервиса» сюда не подходит: бот не проверяет установку стороннего кода, а анализирует техническую готовность сайта к работе с AI-агентами — совершенно другая задача. Учитывая, что оператор — Cloudflare, а сам инструмент бесплатный и открытый, у визита нет злонамеренного контекста: это, по сути, такой же диагностический self-check, как проверка сайта через Google Lighthouse.
Как найти AgentReadinessScanner в логах
# Базовый поиск
grep -i "agentreadinessscanner" /var/log/nginx/access.log
# Какие страницы проверял сканер
grep -i "agentreadinessscanner" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "agentreadinessscanner" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headОфициального списка IP нет, но Cloudflare поддерживает более надёжный способ верификации — Web Bot Auth: криптографическая подпись запроса, которую можно проверить по опубликованному каталогу ключей. Для базовой проверки подойдёт и обычный ASN:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант — это диагностика, а не угроза)
User-agent: agentreadinessscanner
Allow: /
# Компромисс: закрыть чувствительные разделы
User-agent: agentreadinessscanner
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: поскольку оператор официально подтверждён и это разовый диагностический инструмент, а не сборщик данных, разумный вариант по умолчанию — allow без rate-limit. Полный запрет имеет смысл только если сайту принципиально не нужна проверка готовности к AI-агентам, но нагрузка от такого сканирования и так минимальна.
Что в итоге делать с AgentReadinessScanner
| Ситуация | Действие |
| Стандартный случай — разовая или редкая проверка | Allow без rate-limit |
| Нужна повышенная уверенность в подлинности запроса | Проверить подпись через Web Bot Auth, а не только UA |
| Тема AI-агентов для сайта неактуальна в принципе | Disallow / запрет в TrafficVeil — потери минимальны |
| Подозрение на спуфинг UA | Сверять по ASN и по Web Bot Auth, а не доверять строке UA |