QualifiedBot — не безымянный «сканер с неясной целью», а официально задокументированный краулер компании Qualified, разработчика AI SDR-агента «Piper» и платформы agentic-маркетинга для B2B-продаж на базе Salesforce. Бот анализирует сайты именно клиентов Qualified, чтобы наполнять контекстом их же AI-чат-бота на этом сайте. В каталоге TrafficVeil он помечен как нежелательный в категории «Прочие краулеры и сервисы».
Что такое QualifiedBot на самом деле
Qualified — enterprise-сервис для B2B-продаж: их AI-агент Piper ведёт живые диалоги с посетителями сайта, квалифицирует лидов и назначает встречи с отделом продаж, интегрируясь с Salesforce. Чтобы Piper мог отвечать содержательно и по существу, компания использует QualifiedBot — краулер, который забирает ресурсы конкретного клиентского сайта (кейсы, прайсинг, конкурентное позиционирование) и передаёт их AI-агенту в качестве контекста для ответов.
У бота задокументированы два разных режима поведения. Первый — системный обход сайта клиента для первоначального и периодического наполнения базы знаний чат-бота. Второй — «AI Assistant»: разовые запросы в ответ на конкретный вопрос пользователя в диалоге с Piper, когда для точного ответа нужна свежая информация со страницы. Такой трафик непредсказуем и полностью определяется тем, о чём спрашивают посетители — в отличие от системного обхода, здесь нет регулярного паттерна.
| Параметр | Значение |
| Название | QualifiedBot |
| User-Agent (токен/паттерн) | qualifiedbot |
| Оператор | Qualified, Inc. — платформа agentic-маркетинга для B2B-продаж (AI SDR-агент Piper) |
| Назначение | Анализ сайтов клиентов Qualified для наполнения контекстом их AI-чат-бота; также разовые запросы по конкретным вопросам пользователей диалога |
| Список IP-адресов | ❌ Отдельный официальный список есть не у всех операторов; проверяйте ASN/документацию владельца бота и не полагайтесь только на UA |
| Соблюдение robots.txt | Зависит от оператора; для большинства крупных краулеров — да, но часть сервисных/пользовательских fetch-агентов может обходить robots.txt |
| Используется для обучения моделей | Не задокументировано явно — назначение про контекст для конкретного клиентского чат-бота, а не про обучение общей модели |
| Категория TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
Как работает QualifiedBot
Идентифицируется в access.log по паттерну User-Agent qualifiedbot. Ключевой вопрос здесь не «что делает бот», а «является ли ваш сайт клиентом Qualified». Аудитория сервиса — крупные B2B-компании на Salesforce с солидным бюджетом на продажи (среди клиентов упоминаются Asana, Box, Brex); для сайта, не связанного с B2B-продажами на Salesforce, визит QualifiedBot — редкость и, скорее всего, не имеет практического смысла.
Нагрузка на сервер
На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий. Даже при умеренной средней частоте на одном домене возможны локальные всплески, похожие на L7-нагрузку: много 200 OK без роста реальных сессий. Признаки проблемной активности:
- рост RPS без роста конверсий;
- обход пагинации/каталога — если сайт не подключён к Qualified, это нетипично и стоит проверить отдельно;
- повторяющиеся запросы к тяжёлым страницам;
- давление на origin CPU и bandwidth.
Обнаружение в логах
# Все запросы
grep -i "qualifiedbot" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "qualifiedbot" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "qualifiedbot" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "qualifiedbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать. Для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — и в первую очередь честно ответьте себе на вопрос, подключён ли сайт к Qualified как клиент; если нет, дальнейшая техническая верификация почти не нужна:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: qualifiedbot Disallow: / # Точечное ограничение User-agent: qualifiedbot Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: qualifiedbot Allow: /
Учитывайте: не все агенты строго соблюдают robots.txt. Если сайт всё же является клиентом Qualified, блокировка сломает работу их же AI-чат-бота Piper на этом сайте — прежде чем настраивать disallow, стоит уточнить это у команды.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "qualifiedbot") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=qualifiedbot:10m rate=15r/m;
location / {
if ($http_user_agent ~* "qualifiedbot") {
limit_req zone=qualifiedbot burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} qualifiedbot [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - найдите qualifiedbot / QualifiedBot;
- если сайт не пользуется Qualified — смело ставьте «запретить», заметной пользы или вреда от этого не будет;
- если пользуется — allow, иначе чат-бот Piper на сайте перестанет отвечать содержательно;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- В базе TrafficVeil помечен как нежелательный — для большинства сайтов вне B2B enterprise-продаж это разумная классификация по умолчанию;
- перед блокировкой стоит один раз уточнить у команды, не подключён ли сайт к Qualified — если да, решение меняется на противоположное;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков чаще достаточно rate-limit вместо полного 403.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный |
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Сайт — клиент Qualified, использует их AI-чат-бота Piper | Allow / разрешить в TrafficVeil — блокировка сломает бота на сайте |
| Сайт не связан с Qualified (типичный сценарий для большинства сайтов) | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Сайт клиент, но беспокоит частота обхода | Rate-limit вместо полной блокировки |
| Нежелательный бот по базе TrafficVeil (после проверки связи с Qualified) | Запретить в /system/bots и контролировать по логам |