Poggio-Citations — не безымянный «сканер с неясной целью», а официально задокументированный краулер компании Poggio, разработчика AI-инструментов для отделов продаж enterprise-сегмента. Бот собирает с сайтов информацию и цитаты, которые встраиваются в AI-ответы, помогающие продавцам готовить account plans и POV (points of view) по клиентам. Токен зафиксирован в открытом community-реестре AI-краулеров (ai.robots.txt). В каталоге TrafficVeil бот помечен как нежелательный в категории «Прочие краулеры и сервисы».
Что такое Poggio-Citations на самом деле
Poggio — сервис «AI Revenue Agents» для enterprise-продаж: он комбинирует данные из Salesforce, Gong и тысяч внешних источников, чтобы доставлять продавцам актуальные account plans, карты отношений и рекомендации следующих действий прямо в Slack и Salesforce. Компания прямо заявляет о принципах работы: интеллект строится на «citation enforcement» (обязательном подкреплении выводов цитатами источников) и они никогда не используют клиентские данные для обучения или дообучения AI.
Именно эта архитектура объясняет назначение Poggio-Citations: чтобы AI-ответы продавцам были подкреплены реальными, проверяемыми источниками, а не выдумками модели, сервису нужен краулер, который забирает содержимое сайтов (в первую очередь корпоративных — потенциальных клиентов или партнёров пользователей Poggio) и извлекает из них цитаты для последующего использования в отчётах и POV.
| Параметр | Значение |
| Название | Poggio-Citations |
| User-Agent (токен/паттерн) | poggio-citations |
| Оператор | Poggio — AI-платформа для enterprise-продаж (poggio.io) |
| Назначение | Сбор информации и цитат с сайтов для встраивания в AI-ответы, обосновывающие account plans и рекомендации продавцам |
| Список IP-адресов | ❌ Отдельный официальный список есть не у всех операторов; проверяйте ASN/документацию владельца бота и не полагайтесь только на UA |
| Соблюдение robots.txt | Токен официально зафиксирован в community-реестре AI-краулеров с признанным правилом блокировки; фактическое соблюдение стоит проверять по логам |
| Используется для обучения моделей | Нет — компания прямо заявляет, что не использует клиентские данные для обучения или дообучения AI |
| Категория TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
Как работает Poggio-Citations
Идентифицируется в access.log по паттерну User-Agent poggio-citations. Наиболее вероятный сценарий визита: ваш сайт представляет интерес для продавца, использующего Poggio, — например, как сайт потенциального или существующего клиента, чей аккаунт анализируется для построения account plan. В отличие от систематических краулеров, обходящих сайт по расписанию, такие визиты, скорее всего, привязаны к конкретной сделке или клиенту в CRM пользователя Poggio, а не к постоянному фоновому индексированию.
Нагрузка на сервер
На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий. Даже при умеренной средней частоте на одном домене возможны локальные всплески, похожие на L7-нагрузку: много 200 OK без роста реальных сессий. Признаки проблемной активности:
- рост RPS без роста конверсий;
- обход пагинации/каталога, особенно страниц «О компании», кейсов, новостей — типичного материала для account intelligence;
- повторяющиеся запросы к тяжёлым страницам;
- давление на origin CPU и bandwidth.
Обнаружение в логах
# Все запросы
grep -i "poggio-citations" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "poggio-citations" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "poggio-citations" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "poggio-citations" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать. Для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — концентрация на корпоративных, «о компании»-страницах хорошо согласуется с заявленным назначением бота:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: poggio-citations Disallow: / # Точечное ограничение User-agent: poggio-citations Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: poggio-citations Allow: /
Учитывайте: не все агенты строго соблюдают robots.txt, хотя токен официально признан в community-реестре AI-краулеров. Для гарантированного контроля используйте серверные правила или TrafficVeil.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "poggio-citations") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=poggio-citations:10m rate=15r/m;
location / {
if ($http_user_agent ~* "poggio-citations") {
limit_req zone=poggio-citations burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} poggio-citations [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - найдите poggio-citations / Poggio-Citations;
- для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
- allow оставляйте, только если присутствие в enterprise sales intelligence инструментах может приносить пользу (например, для B2B-компаний, заинтересованных в том, чтобы их публичная информация была легко находима отделами продаж партнёров);
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- В базе TrafficVeil помечен как нежелательный — для большинства сайтов, не относящихся к B2B enterprise-сегменту, это разумная классификация по умолчанию;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков чаще достаточно rate-limit вместо полного 403;
- контент лучше отдавать server-side, если хотите контролируемую индексацию легитимными агентами.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный |
По функции Poggio-Citations близок к уже разобранному в этой энциклопедии QualifiedBot — оба относятся к категории B2B sales-intelligence инструментов, хотя решают разные конкретные задачи внутри воронки продаж.
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Сайт — B2B enterprise-компания, важна видимость для sales intelligence партнёров | Allow / разрешить в TrafficVeil |
| Сайт не связан с B2B enterprise-продажами (типичный сценарий) | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Нужен доступ, но беспокоит частота | Rate-limit вместо полной блокировки |
| Нежелательный бот по базе TrafficVeil | Запретить в /system/bots и контролировать по логам |