Blockaid: security-сканер Web3, а не AI-краулер

Blockaid — это одна из самых серьёзных фактических ошибок категоризации в этой энциклопедии: черновик описывает его как «AI-индексатор... чтобы забрать публичный текст для AI-пайплайна оператора», но реальная компания за этим именем занимается прямо противоположным — это Web3-система безопасности (при поддержке Sequoia Capital), которая сканирует интернет в поисках мошеннических сайтов и вредоносного кода, защищая пользователей криптокошельков Coinbase, MetaMask, OpenSea и десятков других платформ. Это не сбор контента для чат-бота, а угрозный сканер.

1. Что такое Blockaid на самом деле

Blockaid — платформа onchain-безопасности, которую использует большинство крупных игроков Web3-индустрии: кошельки (MetaMask, Coinbase Wallet, Rainbow, Core, Talisman, Tangem, Vultisig), маркетплейсы (OpenSea), блокчейн-эксплореры (Suiscan) и другие. По собственным данным компании, с 2025 года Blockaid проверил свыше 6.3 млрд транзакций и заблокировал более 585 млн атак; ежедневно краулер сканирует свыше 15 млн сайтов.

Функция краулера, которая и объясняет обращения к обычным сайтам — dApp Scanning: непрерывный анализ DNS-записей, логов прозрачности сертификатов и веб-краулинг для обнаружения новых или скомпрометированных доменов в течение минут после появления. Когда пользователь подключает криптокошелёк к сайту, Blockaid сканирует его на предмет сигнатур вредоносного кода, JavaScript-скриптов для кражи средств («drainer kits») и инфраструктуры, связанной с известными группами мошенников — и выдаёт вердикт до того, как пользователь подпишет транзакцию.

2. Зачем Blockaid приходит на сайт

• проактивное сканирование интернета целиком в поисках новых или скомпрометированных доменов, которые могут оказаться фишинговыми копиями популярных dApp или содержать вредоносный код для кражи криптоактивов;
• проверка конкретного сайта в момент, когда пользователь одного из Blockaid-интегрированных кошельков пытается подключиться к нему — краулер анализирует страницу на лету перед тем, как разрешить или заблокировать соединение;
• мониторинг DNS-записей и логов прозрачности сертификатов для раннего обнаружения только что зарегистрированных доменов, имитирующих легитимные проекты.

Важно: обычный сайт без Web3-функциональности (без подключения криптокошельков) сканируется Blockaid не потому, что представляет ценность как источник контента, а потому что краулер систематически проверяет широкий массив доменов на признаки мошеннической активности — в том числе домены, которые могут быть похожи по названию на легитимные проекты или содержать скрытый вредоносный код.

3. Нагрузка и риски

Здесь необходима принципиальная поправка к черновику: формулировка «рискуете отдать уникальные тексты... в чужой AI-контур без кликов и атрибуции» просто неприменима к Blockaid — это не индексатор для чат-бота или RAG-поиска, а security-сканер. Реального риска потери контента или его использования в AI-продукте здесь нет.

Практический риск для большинства сайтов сводится к обычному фоновому шуму от масштабного автоматического сканирования — CPU/bandwidth и статистика в аналитике, но не к content-специфичным рискам, которые оправданы для настоящих AI-краулеров вроде GPTBot. Для сайтов с Web3-функциональностью (например, собственный dApp или подключение криптокошельков) присутствие Blockaid в логах может быть прямо полезным — это значит, что сайт покрыт защитой одной из крупнейших security-платформ отрасли.

4. Как найти Blockaid в логах

# Базовый поиск
grep -i "blockaid" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов Blockaid не найдено, поэтому для верификации остаётся связка UA + IP/ASN + поведенческий паттерн:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Blockaid

# Жёсткий запрет
User-agent: blockaid
Disallow: /

# Разрешить всё — рекомендуемый вариант для большинства сайтов
User-agent: blockaid
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: blockaid
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "blockaid") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=blockaid:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "blockaid") {
        limit_req zone=blockaid burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} blockaid [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите blockaid в разделе ботов домена или в /system/bots;
• для обычного сайта без Web3-функциональности — нагрузка минимальна, блокировка не даёт заметного выигрыша, но и не несёт риска;
• для сайта с криптокошельками/dApp — рассмотрите allow как часть общей security-инфраструктуры отрасли, а не как нежелательный трафик;
• если нагрузка от масштабного сканирования всё же заметна — rate-limit достаточен, полный deny обычно избыточен для этого типа краулера.

7. Что делать: короткий алгоритм

• Сайт без Web3-функциональности, минимальная нагрузка — можно не трогать, реального риска нет;
• Сайт с криптокошельками или dApp — allow, это часть защитной инфраструктуры отрасли, полезной для ваших же пользователей;
• Нагрузка заметна независимо от типа сайта — rate-limit как первый шаг;
• Не применяйте к Blockaid логику, подходящую для AI-контент-краулеров (GPTBot и подобные) — цель и риски у него принципиально другие;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Это, вероятно, самый явный случай ошибочной категоризации в базе: Blockaid отнесён к «AI и LLM-краулеры» и снабжён формулировкой про риск утечки контента в чужой AI-контур — но по факту это security-сканер Web3-индустрии, миссия которого прямо противоположна: защищать пользователей от мошенничества, а не собирать контент для AI-продукта. Стоит рекомендовать перенос этой записи в отдельную категорию security-сканеров (по аналогии с тем, как в независимых каталогах ботов Blockaid, вероятно, классифицировался бы как «Security Scanner», а не «AI Crawler») и пересмотр пометки с «нежелательный» на «легитимный» для большинства сценариев.

9. Стратегия allow/deny для Blockaid