SmarshBot: архив для комплаенса, не угроза

Строка smarshbot в базах помечена «нежелательный» с рекомендацией сразу блокировать. На деле оператор официально подтверждён даже в каталоге ботов Cloudflare Radar: это Smarsh Inc. — крупная американская компания архивирования для регуляторного комплаенса, которой пользуются финансовые и государственные организации.

Что такое SmarshBot на самом деле

Smarsh Inc. основана в 2001 году в Портленде (Орегон), сейчас в составе K1 Investment Management, с выручкой свыше $111 млн и 600+ сотрудниками. Продукт Web Archive автоматически захватывает сайт клиента — полные страницы, метаданные, динамический и мультимедийный контент, включая сторонние ссылки, — чтобы создать защищённую от подделки, юридически значимую запись того, что было опубликовано онлайн в конкретный момент. Это нужно для соответствия требованиям SEC, FINRA и других регуляторов.

Зачем SmarshBot приходит на сайт

Владелец сайта — обычно организация в финансовой или государственной сфере — сам настраивает частоту захвата: ежедневно, еженедельно или по своему расписанию для каждого домена или поддомена. Каждый снимок помечается временной меткой и хранится в исходном формате, создавая аудиторский след изменений сайта во времени — именно ради этого клиент и подключает сервис.

Почему это не «фоновый шум»

Если сайт принадлежит регулируемой компании, визиты SmarshBot — не паразитная нагрузка, а часть обязательного комплаенс-процесса: пропущенный снимок может означать пробел в архиве, который потребуется предъявить при проверке регулятора или в судебном споре. Блокировка такого бота без выяснения контекста — риск для регуляторной отчётности бизнеса, а не защита от нежелательного трафика.

Как найти SmarshBot в логах

# Базовый поиск
grep -i "smarshbot" /var/log/nginx/access.log

# Какие разделы захватывает архиватор
grep -i "smarshbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "smarshbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Регулярность — архиваторы обычно ходят по расписанию
grep -i "smarshbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Для верификации сверяйте IP через ASN — официального публичного списка адресов компания не публикует:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (если сайт подключён к Smarsh для комплаенса)
User-agent: SmarshBot
Allow: /

# Официальная директива для полного запрета
User-agent: SmarshBot
Disallow: /

TrafficVeil: прежде чем переключать SmarshBot в «запретить», уточните у юридической или комплаенс-команды, не подключён ли сайт к архивированию по регуляторным требованиям, — для финансовых, страховых и государственных организаций это стандартная практика. Если подключение подтверждено, оставляйте allow без rate-limit: пропуск снимков может создать реальный пробел в обязательной отчётности.

Что в итоге делать с SmarshBot