Боты4 мин чтения·24 августа 2026 г.

Netcraft: анти-фишинг и защита бренда, не угроза

Netcraft маркируют «нежелательный», хотя это краулер известной с 1995 года компании интернет-безопасности, полезный для защиты бренда от фишинговых клонов. Разбираемся, почему сама Netcraft не рекомендует его блокировать.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота Netcraft: нежелательный прочие краулеры и сервисы

Строка netcraft в базах помечена «нежелательный» с рекомендацией сразу блокировать. Это ошибка: Netcraft — крупная и давно известная британская компания в сфере интернет-безопасности, чей краулер задокументирован и верифицирован даже в каталоге ботов Cloudflare. Разбираемся, чем на самом деле занимается этот бот и почему для многих сайтов его присутствие скорее полезно.

Что такое Netcraft на самом деле

Netcraft Ltd — британская компания, основанная в 1995 году, известная прежде всего своим ежемесячным Web Server Survey — отчётом о доле рынка веб-серверов (Apache, Nginx, IIS и другие), который публикуется без перерыва с момента основания компании. Помимо этого, Netcraft — один из крупнейших игроков на рынке анти-фишинга и защиты бренда: компания сканирует интернет, чтобы находить фишинговые и мошеннические сайты, включая клоны и подделки под чужие бренды, и добивается их блокировки у хостинг-провайдеров.

Параметр Значение
Название Netcraft (технический бот — NetcraftSurveyAgent)
User-Agent / паттерн netcraft
Оператор Netcraft Ltd, Великобритания, с 1995 года — верифицирован в каталоге ботов Cloudflare
Категория TrafficVeil Исследование инфраструктуры интернета и анти-фишинг / защита бренда (не «прочий нежелательный сервис»)
Что делает на сайте Анализирует технический стек сервера для Web Server Survey; при заданных клиентом задачах ищет фишинговые сайты и несанкционированное использование чужих логотипов/брендов
Список IP Использует собственный ASN (AS15511) и отдельные диапазоны, включая 195.12.48.0/20 и 82.98.86.0/24
robots.txt Официально соблюдает директивы; сама компания не рекомендует блокировать бота из-за его ненавязчивого характера
Пометка TrafficVeil Легитимный — особенно полезен для брендов, которым важна защита от фишинговых клонов

Зачем Netcraft приходит на сайт

Большинство сайтов видят Netcraft эпизодически — в рамках регулярных обновлений общего интернет-исследования, где отслеживаются технологии хостинга и серверное ПО. Для конкретных клиентов Netcraft краулер может выполнять точечные задачи — например, искать сайты, незаконно использующие чужой логотип или выдающие себя за конкретный бренд, что напрямую питает анти-фишинговые сервисы компании.

Почему пометка «нежелательный» здесь особенно неуместна

Для индустрии, где распространены фишинговые клоны легитимных брендов (в том числе букмекерских и гемблинг-сайтов), Netcraft — один из инструментов, которые как раз помогают выявлять и снимать такие поддельные сайты. Блокировка бота не защищает контент от угрозы, а лишает бизнес шанса попасть в мониторинг, который может обнаружить подделку под ваш собственный бренд. Сама компания прямо говорит: из-за ненавязчивого характера краулера блокировать его не рекомендуется.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

Как найти Netcraft в логах

# Базовый поиск
grep -i "netcraft" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "netcraft" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP — сверяем с ASN Netcraft (AS15511)
grep -i "netcraft" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверьте ASN запроса — у Netcraft он собственный:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (рекомендация самой компании — не блокировать)
User-agent: netcraft
Allow: /

# Если нагрузка ощутима, вместо полного запрета — задержка между запросами
User-agent: netcraft
Crawl-delay: 30
Allow: /

TrafficVeil: стандартный выбор для большинства сайтов — allow без ограничений, поскольку нагрузка обычно невелика, а сама компания рекомендует не блокировать бота. Если нагрузка всё же заметна во время цикла общего исследования, разумнее задать Crawl-delay, а не полный запрет — это снизит частоту без потери присутствия в анти-фишинговом мониторинге.

Что в итоге делать с Netcraft

Ситуация Действие
Стандартный случай Allow — компания сама не рекомендует блокировку
Бренд подвержен риску фишинговых клонов (в том числе в гемблинг-нише) Allow — присутствие в мониторинге Netcraft может помочь обнаружить подделку
Нагрузка ощутима во время цикла обследования Crawl-delay вместо полной блокировки
Подозрение на спуфинг UA Сверять по ASN AS15511, а не доверять строке UA
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Правда ли, что оператор Netcraft неизвестен?
Нет, это давно известная британская компания интернет-безопасности, основанная в 1995 году и верифицированная в каталоге ботов Cloudflare Radar.
Чем вообще занимается Netcraft как компания?
Публикует ежемесячный отчёт о доле рынка веб-серверов и предоставляет услуги анти-фишинга — поиска и блокировки мошеннических сайтов, включая клоны чужих брендов.
Почему присутствие Netcraft может быть полезно именно гемблинг-бренду?
Потому что компания как раз выявляет фишинговые клоны легитимных сайтов, а такие подделки — распространённая проблема в букмекерской и гемблинг-нише.
Рекомендует ли сама Netcraft блокировать своего краулера?
Нет, компания прямо говорит, что бот ненавязчив, и не советует его блокировать.
Есть ли у Netcraft собственный ASN для верификации трафика?
Да, компания использует собственный ASN (AS15511) и отдельные известные IP-диапазоны, что упрощает проверку подлинности запроса.
Что делать, если нагрузка от Netcraft всё же заметна во время цикла обследования?
Разумнее задать директиву Crawl-delay вместо полной блокировки — это снизит частоту запросов, сохранив присутствие в мониторинге.
#Netcraft#боты#краулеры#антибот#анти-фишинг#защита бренда#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота easybill-ImportManager: легитимный прочие краулеры и сервисы
Боты·4 мин

Easybill-ImportManager: синхронизация счетов, не угроза

easybill-ImportManager в логах описывают как безымянную инфраструктуру, хотя это инструмент немецкого сервиса выставления счетов easybill для синхронизации заказов. Разбираемся, почему блокировка может сорвать бухгалтерский процесс магазина.

Читать
Уникальная иллюстрация бота EchoboxBot: нежелательный прочие краулеры и сервисы
Боты·4 мин

EchoboxBot в логах: автопостинг издания, а не угроза

echoboxbot в базах часто помечен как нежелательный, хотя это бот сервиса Echobox для автопостинга статей в соцсети — обычно означает, что сайт сам подключён к платформе. Разбираемся, почему блокировка может сорвать публикации редакции.

Читать
Уникальная иллюстрация бота mirrorweb: легитимный прочие краулеры и сервисы
Боты·4 мин

Mirrorweb в логах: архив для комплаенса, не угроза

mirrorweb в логах часто списывают на безымянную инфраструктуру, хотя это краулер компании MirrorWeb для архивирования сайта под регуляторные требования. Разбираемся, почему блокировка может создать пробел в обязательной отчётности.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil