CapitalOneBot в логах: сканер цен для купонного сервиса

CapitalOneBot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Прочие краулеры и сервисы». Оператор здесь не анонимный — независимый каталог ботов DataDome прямо документирует «Capital One Shopping Bot» как краулер, которым управляет Capital One, реальный крупный американский банк и финансовая компания.

1. Что такое CapitalOneBot

По описанию DataDome, бот в первую очередь предназначен для сканирования сайтов электронной коммерции на предмет цен товаров, акций и скидок. Это укладывается в контекст реального потребительского продукта Capital One — сервиса Capital One Shopping (расширение для браузера и приложение для поиска промокодов, сравнения цен и кешбэка), который компания развивает как часть своей потребительской экосистемы, а не только банковских услуг. Иными словами, бот, вероятно, обходит товарные страницы не ради банковской аналитики в узком смысле, а ради данных для сервиса сравнения цен и купонов, которым пользуются держатели карт Capital One и не только.

2. Зачем CapitalOneBot приходит на сайт

Если сайт — это интернет-магазин или площадка с товарами и ценами, бот, вероятнее всего, собирает данные для сервиса сравнения цен и поиска промокодов Capital One Shopping: актуальные цены, наличие скидок, применимые купоны. Это не банковская проверка транзакций и не аудит платёжной безопасности — это розничная ценовая аналитика в интересах потребительского приложения.

• Какие зоны чаще трогает: товарные страницы, страницы с ценами и акциями, чекаут-флоу (там, где применяются промокоды) — а не сайт целиком без разбора;
• Что ищет: цены, скидки, доступные промокоды и акции для товарных категорий;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и сфокусирован на коммерчески значимых страницах, а не на произвольном контенте.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует capitalonebot на пагинации и карточках товаров — это соответствует ценовому мониторингу, а не банковской проверке или рекламной верификации.

3. Нагрузка и риски именно для CapitalOneBot

Отдельной строки в публичной сводке top-bot TrafficVeil у capitalonebot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Для интернет-магазинов практический риск специфический: сайт вовлекается в чужую систему поиска промокодов и сравнения цен без явного согласия — это может влиять на восприятие цены товара пользователями расширения Capital One Shopping, даже если сам магазин не участвует в этой программе намеренно.

4. Как найти CapitalOneBot в логах

Не ищите «просто ботов» — ищите конкретный токен capitalonebot и обращайте внимание на концентрацию визитов именно на товарных и ценовых страницах.

# Базовый поиск
grep -i "capitalonebot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот — ожидаемо товары, цены, чекаут
grep -i "capitalonebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "capitalonebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "capitalonebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "capitalonebot|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP не найдено, поэтому для решения allow/deny смотрите связку: UA + частоту + характерную концентрацию именно на товарных и ценовых страницах, а не на сайте в целом.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для CapitalOneBot

# Жёсткий запрет
User-agent: capitalonebot
Disallow: /

# Разрешить всё
User-agent: capitalonebot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: capitalonebot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для capitalonebot, если пользы нет. Публичных данных о соблюдении robots.txt не найдено — если агент игнорирует правило, переходите к nginx/Apache или запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "capitalonebot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=capitalonebot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "capitalonebot") {
        limit_req zone=capitalonebot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} capitalonebot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите capitalonebot в ботах домена или в /system/bots;
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
• Allow только при явной пользе — например, если магазин заинтересован в участии в программе сравнения цен и промокодов Capital One Shopping как дополнительном канале привлечения покупателей;
• После изменения сверьте логи: хиты CapitalOneBot должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с CapitalOneBot

• Если пользы нет — Disallow/403 для capitalonebot, поскольку основная выгода от данных о ценах достаётся пользователям приложения Capital One Shopping, а не напрямую магазину;
• Если магазин заинтересован в дистрибуции через сервисы сравнения цен и промокодов — Allow только при явной пользе;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: обычно ничего критичного для SEO не теряете — это не поисковик, а розничный ценовой краулер стороннего потребительского сервиса.

8. С кем не путать CapitalOneBot

9. Стратегия allow/deny для CapitalOneBot