Боты6 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

Blockaid: security-сканер Web3, а не AI-краулер

Вопреки распространённому предположению по названию, Blockaid — не индексатор для чат-бота, а крупная Web3-платформа безопасности при поддержке Sequoia Capital, которая защищает пользователей MetaMask, Coinbase Wallet и OpenSea от фишинга и краж криптоактивов. Разбираемся, почему формулировка про риск утечки контента в AI-продукт здесь просто неприменима и почему для большинства сайтов allow — более разумный выбор, чем блокировка по умолчанию.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота Blockaid: нежелательный ai и llm-краулеры

Blockaid — это одна из самых серьёзных фактических ошибок категоризации в этой энциклопедии: черновик описывает его как «AI-индексатор... чтобы забрать публичный текст для AI-пайплайна оператора», но реальная компания за этим именем занимается прямо противоположным — это Web3-система безопасности (при поддержке Sequoia Capital), которая сканирует интернет в поисках мошеннических сайтов и вредоносного кода, защищая пользователей криптокошельков Coinbase, MetaMask, OpenSea и десятков других платформ. Это не сбор контента для чат-бота, а угрозный сканер.

1. Что такое Blockaid на самом деле

Blockaid — платформа onchain-безопасности, которую использует большинство крупных игроков Web3-индустрии: кошельки (MetaMask, Coinbase Wallet, Rainbow, Core, Talisman, Tangem, Vultisig), маркетплейсы (OpenSea), блокчейн-эксплореры (Suiscan) и другие. По собственным данным компании, с 2025 года Blockaid проверил свыше 6.3 млрд транзакций и заблокировал более 585 млн атак; ежедневно краулер сканирует свыше 15 млн сайтов.

Функция краулера, которая и объясняет обращения к обычным сайтам — dApp Scanning: непрерывный анализ DNS-записей, логов прозрачности сертификатов и веб-краулинг для обнаружения новых или скомпрометированных доменов в течение минут после появления. Когда пользователь подключает криптокошелёк к сайту, Blockaid сканирует его на предмет сигнатур вредоносного кода, JavaScript-скриптов для кражи средств («drainer kits») и инфраструктуры, связанной с известными группами мошенников — и выдаёт вердикт до того, как пользователь подпишет транзакцию.

Параметр Значение
Название Blockaid
Оператор Blockaid (blockaid.io) — Web3-платформа безопасности, при поддержке Sequoia Capital с 2022 года
Реальная роль Массовое сканирование сайтов на предмет вредоносного кода, фишинговой инфраструктуры и мошеннических dApp — не сбор контента для AI/чат-ботов
User-Agent / паттерн blockaid
Клиенты платформы Coinbase, MetaMask, Uniswap, Safe, OpenSea, Rainbow, Core, Talisman, Tangem, Vultisig и другие крупные Web3-игроки
Масштаб Свыше 15 млн сканируемых сайтов ежедневно, свыше 6.3 млрд проверенных транзакций и 585+ млн заблокированных атак с 2025 года
robots.txt Данных о соблюдении не найдено — как и у большинства security-сканеров, полагаться на файл как единственную меру не стоит
Корректная категория Security-сканер / антифишинг-мониторинг — не AI и LLM-краулер (см. раздел 8)

2. Зачем Blockaid приходит на сайт

  • проактивное сканирование интернета целиком в поисках новых или скомпрометированных доменов, которые могут оказаться фишинговыми копиями популярных dApp или содержать вредоносный код для кражи криптоактивов;
  • проверка конкретного сайта в момент, когда пользователь одного из Blockaid-интегрированных кошельков пытается подключиться к нему — краулер анализирует страницу на лету перед тем, как разрешить или заблокировать соединение;
  • мониторинг DNS-записей и логов прозрачности сертификатов для раннего обнаружения только что зарегистрированных доменов, имитирующих легитимные проекты.

Важно: обычный сайт без Web3-функциональности (без подключения криптокошельков) сканируется Blockaid не потому, что представляет ценность как источник контента, а потому что краулер систематически проверяет широкий массив доменов на признаки мошеннической активности — в том числе домены, которые могут быть похожи по названию на легитимные проекты или содержать скрытый вредоносный код.

3. Нагрузка и риски

Здесь необходима принципиальная поправка к черновику: формулировка «рискуете отдать уникальные тексты... в чужой AI-контур без кликов и атрибуции» просто неприменима к Blockaid — это не индексатор для чат-бота или RAG-поиска, а security-сканер. Реального риска потери контента или его использования в AI-продукте здесь нет.

Практический риск для большинства сайтов сводится к обычному фоновому шуму от масштабного автоматического сканирования — CPU/bandwidth и статистика в аналитике, но не к content-специфичным рискам, которые оправданы для настоящих AI-краулеров вроде GPTBot. Для сайтов с Web3-функциональностью (например, собственный dApp или подключение криптокошельков) присутствие Blockaid в логах может быть прямо полезным — это значит, что сайт покрыт защитой одной из крупнейших security-платформ отрасли.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти Blockaid в логах

# Базовый поиск
grep -i "blockaid" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "blockaid" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов Blockaid не найдено, поэтому для верификации остаётся связка UA + IP/ASN + поведенческий паттерн:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Blockaid

# Жёсткий запрет
User-agent: blockaid
Disallow: /

# Разрешить всё — рекомендуемый вариант для большинства сайтов
User-agent: blockaid
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: blockaid
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "blockaid") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_a0a14519e83c_key {
    default "";
    "~*blockaid" $binary_remote_addr;
}
limit_req_zone $tv_ng_a0a14519e83c_key zone=tv_ng_a0a14519e83c:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_a0a14519e83c burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} blockaid [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • найдите blockaid в разделе ботов домена или в /system/bots;
  • для обычного сайта без Web3-функциональности — нагрузка минимальна, блокировка не даёт заметного выигрыша, но и не несёт риска;
  • для сайта с криптокошельками/dApp — рассмотрите allow как часть общей security-инфраструктуры отрасли, а не как нежелательный трафик;
  • если нагрузка от масштабного сканирования всё же заметна — rate-limit достаточен, полный deny обычно избыточен для этого типа краулера.

7. Что делать: короткий алгоритм

  • Сайт без Web3-функциональности, минимальная нагрузка — можно не трогать, реального риска нет;
  • Сайт с криптокошельками или dApp — allow, это часть защитной инфраструктуры отрасли, полезной для ваших же пользователей;
  • Нагрузка заметна независимо от типа сайта — rate-limit как первый шаг;
  • Не применяйте к Blockaid логику, подходящую для AI-контент-краулеров (GPTBot и подобные) — цель и риски у него принципиально другие;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Это, вероятно, самый явный случай ошибочной категоризации в базе: Blockaid отнесён к «AI и LLM-краулеры» и снабжён формулировкой про риск утечки контента в чужой AI-контур — но по факту это security-сканер Web3-индустрии, миссия которого прямо противоположна: защищать пользователей от мошенничества, а не собирать контент для AI-продукта. Стоит рекомендовать перенос этой записи в отдельную категорию security-сканеров (по аналогии с тем, как в независимых каталогах ботов Blockaid, вероятно, классифицировался бы как «Security Scanner», а не «AI Crawler») и пересмотр пометки с «нежелательный» на «легитимный» для большинства сценариев.

Бот / сосед Кластер Комментарий
GPTBot AI и LLM-краулеры Настоящий content-краулер для обучения модели — принципиально другая природа и риски, чем у Blockaid
Google-Safety Security-сканер Похожая по духу функция — сканирование на предмет malware/фишинга, а не сбор контента
AgentReadinessScanner Прочие краулеры и сервисы Тоже security/readiness-сканер (Cloudflare), а не content-краулер — стоит проверять по той же логике, что и Blockaid
AnthropicBot AI и LLM-краулеры Настоящий AI-краулер с официальной документацией — для контраста с ошибочно классифицированным Blockaid

9. Стратегия allow/deny для Blockaid

Ситуация Действие
Обычный сайт без Web3-функций Allow — реального риска для контента нет, нагрузка обычно минимальна
Сайт с криптокошельками или собственным dApp Allow — это часть защитной инфраструктуры, полезной для пользователей сайта
Нагрузка от сканирования заметна Rate-limit, а не полный запрет
Ошибочно применена логика «AI-краулер, риск утечки контента» Пересмотреть — эта логика к Blockaid не относится
Подозрение на spoofing UA Не доверять строке UA; смотреть IP/ASN и характер сканирования
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Blockaid действительно собирает контент сайта для AI-продукта?
Нет, это принципиальная ошибка — Blockaid сканирует сайты на предмет вредоносного кода и фишинговой инфраструктуры, а не для обучения языковых моделей.
Кто реально стоит за Blockaid?
Web3-платформа безопасности при поддержке Sequoia Capital, которую использует защитная инфраструктура MetaMask, Coinbase Wallet, OpenSea и десятков других крупных криптоплатформ.
Стоит ли блокировать Blockaid по умолчанию, как рекомендовалось раньше?
Нет, для большинства сайтов реального риска нет, и allow — более обоснованный выбор, чем блокировка по логике AI-краулеров.
Полезен ли этот трафик для сайтов с криптокошельками?
Да, присутствие Blockaid означает, что сайт покрыт защитой одной из крупнейших security-платформ Web3-индустрии.
Что делать, если нагрузка от сканирования всё же заметна?
Использовать rate-limit вместо полного запрета — это масштабный, но обычно не критичный по нагрузке краулер.
Стоит ли пересмотреть категорию Blockaid в базе TrafficVeil?
Да, судя по всему, эта запись ошибочно попала в «AI и LLM-краулеры» вместо категории security-сканеров.
#Blockaid#Web3#security-сканер#антифишинг#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Боты·7 мин

LeakIX Scanner: диагностический сигнал, а не угроза

LeakIX — реальная бельгийская security-компания с редким для этой категории уровнем прозрачности: каждая сканирующая машина криптографически проверяема через собственный поддомен и публичный PGP-ключ. Разбираемся, почему правильная реакция на находки этого сканера — чинить обнаруженное, а не воевать с ботом, и почему robots.txt здесь работает лишь частично, поскольку сканирование идёт не только по HTTP.

Читать
Уникальная иллюстрация бота bigsur.ai: легитимный прочие краулеры и сервисы
Боты·8 мин

Bigsur.ai: что это за AI-краулер Big Sur AI и нужно ли его блокировать

bigsur.ai — подтверждённый AI-crawler компании Big Sur AI. Разбираемся, зачем он получает страницы сайтов, как выглядит User-Agent, как отличить настоящий Big Sur AI от spoofing и когда использовать Allow, Monitor, Rate Limit или Block.

Читать
Уникальная иллюстрация бота Content Harmony: легитимный ai и llm-краулеры
Боты·6 мин

Content Harmony: инструмент контент-брифов, а не AI-краулер

Content Harmony — известная SaaS-платформа для построения SEO-контент-брифов, а не сборщик данных для AI-модели, и обращение к вашему сайту почти всегда означает, что кто-то исследует вашу ранжирующуюся страницу как конкурента по конкретному запросу. Разбираемся, почему риск здесь ближе к конкурентной разведке, чем к утечке контента в чат-бота, и почему категория в базе, вероятно, требует пересмотра.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil