Mirrorweb в логах: архив для комплаенса, не угроза

Строка mirrorweb в логах обычно списывают на безымянную «инфраструктуру платформы». На деле это краулер конкретной компании — MirrorWeb, специализирующейся на архивировании сайтов для регуляторного комплаенса. Если он заходит на сайт, почти всегда это значит, что владелец сайта — регулируемая компания (финансы, страхование, юридические услуги), которой по закону нужно хранить точные исторические снимки собственного сайта.

Что такое mirrorweb на самом деле

MirrorWeb — компания, основанная в Великобритании в 2012 году, сейчас со штаб-квартирой в Остине (США): архивирует сайты, соцсети и коммуникации для соответствия требованиям SEC, FINRA, FCA и MiFID II. Краулер mirrorweb захватывает сайт целиком — включая динамический контент и интерактивные элементы — и упаковывает снимок в неизменяемый формат WARC, пригодный как доказательство при проверках регулятора или в судебных спорах.

Зачем mirrorweb приходит на сайт

Архиваторы вроде mirrorweb заходят по регулярному расписанию — от ежедневного до более редкого, в зависимости от тарифа и требований к частоте снимков, — чтобы фиксировать хронологическую историю изменений сайта. В отличие от поискового краулера, цель не индексация для выдачи, а полная и точная копия страницы «как её видел пользователь» на конкретный момент времени — именно это требуют финансовые и юридические регуляторы.

Почему это не «фоновый шум»

Если сайт принадлежит регулируемой компании, визиты mirrorweb — не паразитная нагрузка, а часть обязательного комплаенс-процесса: пропущенный снимок может означать пробел в архиве, который потребуется предъявить при проверке или судебном споре. Блокировка такого бота без выяснения контекста — риск не для SEO, а для регуляторной отчётности бизнеса.

Как найти mirrorweb в логах

# Базовый поиск
grep -i "mirrorweb" /var/log/nginx/access.log

# Какие разделы захватывает архиватор
grep -i "mirrorweb" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "mirrorweb" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Регулярность — архиваторы обычно ходят по расписанию
grep -i "mirrorweb" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Официального списка IP компания не публикует, поэтому для верификации используйте ASN:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (если сайт подключён к MirrorWeb для комплаенса)
User-agent: mirrorweb
Allow: /

# Закрыть только чувствительные служебные разделы
User-agent: mirrorweb
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: прежде чем переключать mirrorweb в «запретить», уточните у юридической или комплаенс-команды, не подключён ли сайт к архивированию по регуляторным требованиям — для финансовых, страховых и юридических компаний это стандартная практика. Если подключение подтверждено, оставляйте allow без rate-limit: пропуск снимков может создать реальный пробел в обязательной отчётности.

Что в итоге делать с mirrorweb