BitSightBot: кредитный рейтинг, только для кибербезопасности

BitSightBot — краулер/сканер компании BitSight: собирает внешне видимые сигналы для cybersecurity ratings (оценка киберриска организации). Он не индексирует сайт для Google и не рисует превью ссылок — задача принципиально другая: помочь BitSight выставить компании числовую оценку защищённости, как это делает кредитно-рейтинговое агентство с финансовым здоровьем.

Параметры

Логика работы: рейтинговое агентство для кибербезопасности

Модель BitSight похожа на то, как кредитные бюро оценивают финансовое здоровье компаний — только вместо платёжной дисциплины оценивается киберзащищённость. Рейтинг обычно выставляется по шкале примерно 250–900 и строится на внешне наблюдаемых сигналах: конфигурации TLS/SSL, наличии защитных HTTP-заголовков, потенциальных уязвимостях веб-приложений и других технических признаках гигиены безопасности. Эти рейтинги используют партнёры, страховщики и покупатели при оценке рисков — например, перед подписанием контракта с поставщиком, оформлением киберстрахования или due diligence при сделке слияния/поглощения. Важно: BitSightBot не пытается взломать сайт — он собирает то, что и так публично видно снаружи, пассивно наблюдая за внешним периметром.

Насколько часто он приходит

Паттерн обхода сильно варьируется в зависимости от того, кто и зачем следит за вашей организацией через BitSight. Если ваш домен относится к компании, которую активно мониторит конкретный клиент BitSight (например, вы поставщик, партнёр или объект due diligence), визиты могут быть ежедневными или даже чаще. Если такого интереса нет — бот может не заходить на сайт месяцами.

Нагрузка

По сводке TrafficVeil паттерн bitsightbot — порядка 14 тысяч запросов (март–июнь 2026, июнь по 14.06). Учитывая природу трафика (внешний security-скан, а не массовая индексация), такой объём — нормальный фон для сайта, представляющего интерес для хотя бы нескольких клиентов BitSight.

Контроль

grep -i "BitSightBot" /var/log/nginx/access.log

User-agent: BitSightBot
Disallow: /

if ($http_user_agent ~* "BitSightBot") {
    return 403;
}

Поскольку данные о соблюдении robots.txt противоречивы, после настройки правила обязательно сверьте логи отдельно — убедитесь, что визиты действительно прекратились, а не просто перестали явно представляться этим UA.

Верификация

Официального единого списка IP BitSight не публикует. Для проверки подлинности запроса используйте reverse/forward DNS, а не полагайтесь только на строку UA — headless-браузер за этим агентом технически несложно эмулировать сторонним скриптом.

host 
host 

Рекомендации

• Нужен рейтинг BitSight у партнёров/страховщиков — Allow: это не «взлом», а внешний сбор данных, который в итоге работает на вашу же репутацию перед контрагентами
• Не хотите отдавать сигналы о своей инфраструктуре — Disallow + deny, но помните о неоднозначном соблюдении robots.txt и проверяйте результат по факту
• Не путать с агрессивным vuln-сканом: смотрите методы и пути запросов в логах — BitSightBot собирает пассивно наблюдаемые сигналы, а не пытается эксплуатировать уязвимости
• На SEO блокировка или разрешение доступа не влияет