Netcraft: анти-фишинг и защита бренда, не угроза

Строка netcraft в базах помечена «нежелательный» с рекомендацией сразу блокировать. Это ошибка: Netcraft — крупная и давно известная британская компания в сфере интернет-безопасности, чей краулер задокументирован и верифицирован даже в каталоге ботов Cloudflare. Разбираемся, чем на самом деле занимается этот бот и почему для многих сайтов его присутствие скорее полезно.

Что такое Netcraft на самом деле

Netcraft Ltd — британская компания, основанная в 1995 году, известная прежде всего своим ежемесячным Web Server Survey — отчётом о доле рынка веб-серверов (Apache, Nginx, IIS и другие), который публикуется без перерыва с момента основания компании. Помимо этого, Netcraft — один из крупнейших игроков на рынке анти-фишинга и защиты бренда: компания сканирует интернет, чтобы находить фишинговые и мошеннические сайты, включая клоны и подделки под чужие бренды, и добивается их блокировки у хостинг-провайдеров.

Зачем Netcraft приходит на сайт

Большинство сайтов видят Netcraft эпизодически — в рамках регулярных обновлений общего интернет-исследования, где отслеживаются технологии хостинга и серверное ПО. Для конкретных клиентов Netcraft краулер может выполнять точечные задачи — например, искать сайты, незаконно использующие чужой логотип или выдающие себя за конкретный бренд, что напрямую питает анти-фишинговые сервисы компании.

Почему пометка «нежелательный» здесь особенно неуместна

Для индустрии, где распространены фишинговые клоны легитимных брендов (в том числе букмекерских и гемблинг-сайтов), Netcraft — один из инструментов, которые как раз помогают выявлять и снимать такие поддельные сайты. Блокировка бота не защищает контент от угрозы, а лишает бизнес шанса попасть в мониторинг, который может обнаружить подделку под ваш собственный бренд. Сама компания прямо говорит: из-за ненавязчивого характера краулера блокировать его не рекомендуется.

Как найти Netcraft в логах

# Базовый поиск
grep -i "netcraft" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "netcraft" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP — сверяем с ASN Netcraft (AS15511)
grep -i "netcraft" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверьте ASN запроса — у Netcraft он собственный:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (рекомендация самой компании — не блокировать)
User-agent: netcraft
Allow: /

# Если нагрузка ощутима, вместо полного запрета — задержка между запросами
User-agent: netcraft
Crawl-delay: 30
Allow: /

TrafficVeil: стандартный выбор для большинства сайтов — allow без ограничений, поскольку нагрузка обычно невелика, а сама компания рекомендует не блокировать бота. Если нагрузка всё же заметна во время цикла общего исследования, разумнее задать Crawl-delay, а не полный запрет — это снизит частоту без потери присутствия в анти-фишинговом мониторинге.

Что в итоге делать с Netcraft