Blockaid — это одна из самых серьёзных фактических ошибок категоризации в этой энциклопедии: черновик описывает его как «AI-индексатор... чтобы забрать публичный текст для AI-пайплайна оператора», но реальная компания за этим именем занимается прямо противоположным — это Web3-система безопасности (при поддержке Sequoia Capital), которая сканирует интернет в поисках мошеннических сайтов и вредоносного кода, защищая пользователей криптокошельков Coinbase, MetaMask, OpenSea и десятков других платформ. Это не сбор контента для чат-бота, а угрозный сканер.
1. Что такое Blockaid на самом деле
Blockaid — платформа onchain-безопасности, которую использует большинство крупных игроков Web3-индустрии: кошельки (MetaMask, Coinbase Wallet, Rainbow, Core, Talisman, Tangem, Vultisig), маркетплейсы (OpenSea), блокчейн-эксплореры (Suiscan) и другие. По собственным данным компании, с 2025 года Blockaid проверил свыше 6.3 млрд транзакций и заблокировал более 585 млн атак; ежедневно краулер сканирует свыше 15 млн сайтов.
Функция краулера, которая и объясняет обращения к обычным сайтам — dApp Scanning: непрерывный анализ DNS-записей, логов прозрачности сертификатов и веб-краулинг для обнаружения новых или скомпрометированных доменов в течение минут после появления. Когда пользователь подключает криптокошелёк к сайту, Blockaid сканирует его на предмет сигнатур вредоносного кода, JavaScript-скриптов для кражи средств («drainer kits») и инфраструктуры, связанной с известными группами мошенников — и выдаёт вердикт до того, как пользователь подпишет транзакцию.
| Параметр | Значение |
| Название | Blockaid |
| Оператор | Blockaid (blockaid.io) — Web3-платформа безопасности, при поддержке Sequoia Capital с 2022 года |
| Реальная роль | Массовое сканирование сайтов на предмет вредоносного кода, фишинговой инфраструктуры и мошеннических dApp — не сбор контента для AI/чат-ботов |
| User-Agent / паттерн | blockaid |
| Клиенты платформы | Coinbase, MetaMask, Uniswap, Safe, OpenSea, Rainbow, Core, Talisman, Tangem, Vultisig и другие крупные Web3-игроки |
| Масштаб | Свыше 15 млн сканируемых сайтов ежедневно, свыше 6.3 млрд проверенных транзакций и 585+ млн заблокированных атак с 2025 года |
| robots.txt | Данных о соблюдении не найдено — как и у большинства security-сканеров, полагаться на файл как единственную меру не стоит |
| Корректная категория | Security-сканер / антифишинг-мониторинг — не AI и LLM-краулер (см. раздел 8) |
2. Зачем Blockaid приходит на сайт
- проактивное сканирование интернета целиком в поисках новых или скомпрометированных доменов, которые могут оказаться фишинговыми копиями популярных dApp или содержать вредоносный код для кражи криптоактивов;
- проверка конкретного сайта в момент, когда пользователь одного из Blockaid-интегрированных кошельков пытается подключиться к нему — краулер анализирует страницу на лету перед тем, как разрешить или заблокировать соединение;
- мониторинг DNS-записей и логов прозрачности сертификатов для раннего обнаружения только что зарегистрированных доменов, имитирующих легитимные проекты.
Важно: обычный сайт без Web3-функциональности (без подключения криптокошельков) сканируется Blockaid не потому, что представляет ценность как источник контента, а потому что краулер систематически проверяет широкий массив доменов на признаки мошеннической активности — в том числе домены, которые могут быть похожи по названию на легитимные проекты или содержать скрытый вредоносный код.
3. Нагрузка и риски
Здесь необходима принципиальная поправка к черновику: формулировка «рискуете отдать уникальные тексты... в чужой AI-контур без кликов и атрибуции» просто неприменима к Blockaid — это не индексатор для чат-бота или RAG-поиска, а security-сканер. Реального риска потери контента или его использования в AI-продукте здесь нет.
Практический риск для большинства сайтов сводится к обычному фоновому шуму от масштабного автоматического сканирования — CPU/bandwidth и статистика в аналитике, но не к content-специфичным рискам, которые оправданы для настоящих AI-краулеров вроде GPTBot. Для сайтов с Web3-функциональностью (например, собственный dApp или подключение криптокошельков) присутствие Blockaid в логах может быть прямо полезным — это значит, что сайт покрыт защитой одной из крупнейших security-платформ отрасли.
4. Как найти Blockaid в логах
# Базовый поиск
grep -i "blockaid" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cВерификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов Blockaid не найдено, поэтому для верификации остаётся связка UA + IP/ASN + поведенческий паттерн:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для Blockaid
# Жёсткий запрет
User-agent: blockaid
Disallow: /
# Разрешить всё — рекомендуемый вариант для большинства сайтов
User-agent: blockaid
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: blockaid
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "blockaid") {
return 403;
}
limit_req_zone $binary_remote_addr zone=blockaid:10m rate=10r/m;
location / {
if ($http_user_agent ~* "blockaid") {
limit_req zone=blockaid burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} blockaid [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- найдите blockaid в разделе ботов домена или в /system/bots;
- для обычного сайта без Web3-функциональности — нагрузка минимальна, блокировка не даёт заметного выигрыша, но и не несёт риска;
- для сайта с криптокошельками/dApp — рассмотрите allow как часть общей security-инфраструктуры отрасли, а не как нежелательный трафик;
- если нагрузка от масштабного сканирования всё же заметна — rate-limit достаточен, полный deny обычно избыточен для этого типа краулера.
7. Что делать: короткий алгоритм
- Сайт без Web3-функциональности, минимальная нагрузка — можно не трогать, реального риска нет;
- Сайт с криптокошельками или dApp — allow, это часть защитной инфраструктуры отрасли, полезной для ваших же пользователей;
- Нагрузка заметна независимо от типа сайта — rate-limit как первый шаг;
- Не применяйте к Blockaid логику, подходящую для AI-контент-краулеров (GPTBot и подобные) — цель и риски у него принципиально другие;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Это, вероятно, самый явный случай ошибочной категоризации в базе: Blockaid отнесён к «AI и LLM-краулеры» и снабжён формулировкой про риск утечки контента в чужой AI-контур — но по факту это security-сканер Web3-индустрии, миссия которого прямо противоположна: защищать пользователей от мошенничества, а не собирать контент для AI-продукта. Стоит рекомендовать перенос этой записи в отдельную категорию security-сканеров (по аналогии с тем, как в независимых каталогах ботов Blockaid, вероятно, классифицировался бы как «Security Scanner», а не «AI Crawler») и пересмотр пометки с «нежелательный» на «легитимный» для большинства сценариев.
| Бот / сосед | Кластер | Комментарий |
| GPTBot | AI и LLM-краулеры | Настоящий content-краулер для обучения модели — принципиально другая природа и риски, чем у Blockaid |
| Google-Safety | Security-сканер | Похожая по духу функция — сканирование на предмет malware/фишинга, а не сбор контента |
| AgentReadinessScanner | Прочие краулеры и сервисы | Тоже security/readiness-сканер (Cloudflare), а не content-краулер — стоит проверять по той же логике, что и Blockaid |
| AnthropicBot | AI и LLM-краулеры | Настоящий AI-краулер с официальной документацией — для контраста с ошибочно классифицированным Blockaid |
9. Стратегия allow/deny для Blockaid
| Ситуация | Действие |
| Обычный сайт без Web3-функций | Allow — реального риска для контента нет, нагрузка обычно минимальна |
| Сайт с криптокошельками или собственным dApp | Allow — это часть защитной инфраструктуры, полезной для пользователей сайта |
| Нагрузка от сканирования заметна | Rate-limit, а не полный запрет |
| Ошибочно применена логика «AI-краулер, риск утечки контента» | Пересмотреть — эта логика к Blockaid не относится |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и характер сканирования |