ActiveComply: возможно, ваш регуляторный мониторинг

ActiveComply — ещё один случай из серии «это, скорее всего, чей-то подключённый инструмент», только для узкой ниши: регуляторного compliance-мониторинга в финансовой сфере. Это реальная компания (activecomply.com), продукт которой — платформа WebCompass — специально мониторит сайты банков, кредитных союзов и ипотечных брокеров на соответствие требованиям регуляторов вроде CFPB и HUD.

1. Что такое ActiveComply на самом деле

ActiveComply — облачная compliance-платформа для регулируемых финансовых организаций: банков, кредитных союзов, ипотечных брокеров и RIA (инвестиционных консультантов). Продукт WebCompass централизованно сканирует и мониторит сайты, связанные с ипотечным и финансовым бизнесом — корпоративные страницы, персональные сайты кредитных специалистов, партнёрские лендинги — на предмет соответствия регуляторным требованиям: корректность лицензионной информации, обязательные раскрытия (disclosures), формулировки о справедливом кредитовании, доступность по стандартам ADA.

По независимой классификации Known Agents, ActiveComply относится к категории «intelligence gatherer» — краулеров, которые собирают бизнес-данные и конкурентную информацию для своих клиентов. Здесь это конкретизируется до узкой, понятной задачи: находить нарушения раньше, чем это сделают регуляторы или конкуренты, — заявленная цель прямо со страницы продукта.

2. Зачем ActiveComply приходит на сайт

• если сайт принадлежит банку, кредитному союзу, ипотечному брокеру или связанному с ними специалисту — регулярная проверка на регуляторное соответствие в рамках подписки на WebCompass;
• мониторинг персональных сайтов и партнёрских лендингов, которые организация обязана отслеживать по требованию регулятора (например, сайты отдельных кредитных специалистов в составе крупной сети филиалов);
• если сайт не связан с финансовой/ипотечной отраслью — обращение менее объяснимо и может быть частью более широкого сканирования рынка, а не адресного мониторинга.

Типичный кейс: сайт ипотечного брокера или банковского филиала регулярно посещается ActiveComply — прежде чем реагировать как на нежелательный трафик, стоит проверить, не подключена ли организация к сервису сама (или через головную компанию/франчайзера).

3. Нагрузка и риски

Если сайт принадлежит финансовой организации, подключённой к ActiveComply, — прямая польза очевидна: без такого мониторинга компания рискует пропустить нарушение раскрытий или лицензионных требований, за которое регулятор может наложить санкции. Блокировка в этом случае вредит не постороннему боту, а собственному compliance-процессу.

Если сайт точно не относится к финансовой/ипотечной отрасли и не связан ни с одним клиентом ActiveComply — прямой пользы, как правило, нет, и обычная логика «нежелательный, если пользы нет» применима без ограничений.

4. Как найти ActiveComply в логах

# Базовый поиск
grep -i "activecomply" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "activecomply" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "activecomply" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "activecomply" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — но здесь есть более простой первый шаг, чем ASN-проверка: узнать в compliance-отделе организации (если сайт финансовый), не подключён ли WebCompass сознательно, прежде чем переходить к техническим методам:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для ActiveComply

# Жёсткий запрет — если сайт не связан с клиентами ActiveComply
User-agent: activecomply
Disallow: /

# Разрешить всё — необходимо, если организация использует WebCompass для собственного compliance-мониторинга
User-agent: activecomply
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "activecomply") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=activecomply:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "activecomply") {
        limit_req zone=activecomply burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} activecomply [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• прежде чем блокировать на сайте из финансовой/ипотечной ниши — проверьте, не подключён ли WebCompass самой организацией или головной компанией;
• если подключён — allow, блокировка может сорвать регуляторный мониторинг, за который организация несёт ответственность;
• если сайт не финансовый — Disallow и запрет в TrafficVeil обоснованы стандартной логикой;
• после изменения сверьте логи и, если применимо, уточните у compliance-команды, не пропали ли их отчёты.

7. Что делать: короткий алгоритм

• Сайт из финансовой/ипотечной отрасли — сначала проверьте, не подключён ли WebCompass сознательно, прежде чем блокировать;
• Подключён — allow, это собственная регуляторная инфраструктура;
• Сайт вне финансовой отрасли — Disallow + запрет в TrafficVeil, прямой пользы, как правило, нет;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Базовая пометка «нежелательный» подходит для сайтов вне финансовой отрасли, но не учитывает сценарий, при котором это подключённый регуляторный мониторинг банка или ипотечного брокера. Рекомендую добавить в саму запись явную пометку «для сайтов финансовой/ипотечной ниши сначала проверьте, не подключён ли WebCompass» — по аналогии с уже сформулированными статьями про MainWP, BlogVault и Content King.

9. Стратегия allow/deny для ActiveComply