CapitalOneBot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Прочие краулеры и сервисы». Оператор здесь не анонимный — независимый каталог ботов DataDome прямо документирует «Capital One Shopping Bot» как краулер, которым управляет Capital One, реальный крупный американский банк и финансовая компания.
1. Что такое CapitalOneBot
По описанию DataDome, бот в первую очередь предназначен для сканирования сайтов электронной коммерции на предмет цен товаров, акций и скидок. Это укладывается в контекст реального потребительского продукта Capital One — сервиса Capital One Shopping (расширение для браузера и приложение для поиска промокодов, сравнения цен и кешбэка), который компания развивает как часть своей потребительской экосистемы, а не только банковских услуг. Иными словами, бот, вероятно, обходит товарные страницы не ради банковской аналитики в узком смысле, а ради данных для сервиса сравнения цен и купонов, которым пользуются держатели карт Capital One и не только.
| Название | CapitalOneBot (в независимом каталоге описан как Capital One Shopping Bot) |
| User-Agent / паттерн | capitalonebot |
| Оператор | Capital One — крупная американская финансовая компания и банк; по документации DataDome бот связан с потребительским сервисом Capital One Shopping |
| Роль | Сканирует сайты электронной коммерции для сбора данных о ценах товаров, акциях и скидках — в интересах сервиса сравнения цен и промокодов Capital One Shopping |
| Документация / ориентир | Первоисточника специально для вебмастеров от самой Capital One не найдено; назначение задокументировано независимым каталогом ботов DataDome |
| Список IP | ❌ Официального списка IP не найдено — проверяйте по UA и поведению |
| robots.txt | Публичных данных о строгом соблюдении не найдено |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
2. Зачем CapitalOneBot приходит на сайт
Если сайт — это интернет-магазин или площадка с товарами и ценами, бот, вероятнее всего, собирает данные для сервиса сравнения цен и поиска промокодов Capital One Shopping: актуальные цены, наличие скидок, применимые купоны. Это не банковская проверка транзакций и не аудит платёжной безопасности — это розничная ценовая аналитика в интересах потребительского приложения.
- Какие зоны чаще трогает: товарные страницы, страницы с ценами и акциями, чекаут-флоу (там, где применяются промокоды) — а не сайт целиком без разбора;
- Что ищет: цены, скидки, доступные промокоды и акции для товарных категорий;
- Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и сфокусирован на коммерчески значимых страницах, а не на произвольном контенте.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует capitalonebot на пагинации и карточках товаров — это соответствует ценовому мониторингу, а не банковской проверке или рекламной верификации.
3. Нагрузка и риски именно для CapitalOneBot
Отдельной строки в публичной сводке top-bot TrafficVeil у capitalonebot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Для интернет-магазинов практический риск специфический: сайт вовлекается в чужую систему поиска промокодов и сравнения цен без явного согласия — это может влиять на восприятие цены товара пользователями расширения Capital One Shopping, даже если сам магазин не участвует в этой программе намеренно.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти CapitalOneBot в логах
Не ищите «просто ботов» — ищите конкретный токен capitalonebot и обращайте внимание на концентрацию визитов именно на товарных и ценовых страницах.
# Базовый поиск
grep -i "capitalonebot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот — ожидаемо товары, цены, чекаут
grep -i "capitalonebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "capitalonebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "capitalonebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "capitalonebot|bot" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт. Официального списка IP не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + характерную концентрацию именно на товарных и ценовых страницах, а не на сайте в целом.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для CapitalOneBot
# Жёсткий запрет
User-agent: capitalonebot
Disallow: /
# Разрешить всё
User-agent: capitalonebot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: capitalonebot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для capitalonebot, если пользы нет. Публичных данных о соблюдении robots.txt не найдено — если агент игнорирует правило, переходите к nginx/Apache или запрету в TrafficVeil.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "capitalonebot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_1d4e0192205b_key {
default "";
"~*capitalonebot" $binary_remote_addr;
}
limit_req_zone $tv_ng_1d4e0192205b_key zone=tv_ng_1d4e0192205b:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_1d4e0192205b burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} capitalonebot [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите capitalonebot в ботах домена или в /system/bots;
- Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной пользе — например, если магазин заинтересован в участии в программе сравнения цен и промокодов Capital One Shopping как дополнительном канале привлечения покупателей;
- После изменения сверьте логи: хиты CapitalOneBot должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с CapitalOneBot
- Если пользы нет — Disallow/403 для capitalonebot, поскольку основная выгода от данных о ценах достаётся пользователям приложения Capital One Shopping, а не напрямую магазину;
- Если магазин заинтересован в дистрибуции через сервисы сравнения цен и промокодов — Allow только при явной пользе;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: обычно ничего критичного для SEO не теряете — это не поисковик, а розничный ценовой краулер стороннего потребительского сервиса.
8. С кем не путать CapitalOneBot
| Бот / сосед | Кластер | UA | Комментарий |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный, другой оператор |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный, сбор данных о недвижимости |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный, мониторинг комплаенса |
9. Стратегия allow/deny для CapitalOneBot
| Ситуация | Действие |
| Магазин заинтересован в сервисах сравнения цен и промокодов | Allow + закрыть /admin /cart /api |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики мешают | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Официальных IP нет — смотреть на концентрацию визитов именно на товарных и ценовых страницах, не только на UA |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
CapitalOneBot связан с банковскими проверками или платёжной безопасностью?
Зачем боту вообще нужны данные с моего интернет-магазина?
Может ли магазин оказаться в системе Capital One Shopping без своего согласия?
Есть ли польза магазину от присутствия в этом сервисе?
Публикует ли Capital One официальный список IP-адресов бота?
Влияет ли блокировка CapitalOneBot на позиции сайта в поиске?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.