Строка netcraft в базах помечена «нежелательный» с рекомендацией сразу блокировать. Это ошибка: Netcraft — крупная и давно известная британская компания в сфере интернет-безопасности, чей краулер задокументирован и верифицирован даже в каталоге ботов Cloudflare. Разбираемся, чем на самом деле занимается этот бот и почему для многих сайтов его присутствие скорее полезно.
Что такое Netcraft на самом деле
Netcraft Ltd — британская компания, основанная в 1995 году, известная прежде всего своим ежемесячным Web Server Survey — отчётом о доле рынка веб-серверов (Apache, Nginx, IIS и другие), который публикуется без перерыва с момента основания компании. Помимо этого, Netcraft — один из крупнейших игроков на рынке анти-фишинга и защиты бренда: компания сканирует интернет, чтобы находить фишинговые и мошеннические сайты, включая клоны и подделки под чужие бренды, и добивается их блокировки у хостинг-провайдеров.
| Параметр | Значение |
| Название | Netcraft (технический бот — NetcraftSurveyAgent) |
| User-Agent / паттерн | netcraft |
| Оператор | Netcraft Ltd, Великобритания, с 1995 года — верифицирован в каталоге ботов Cloudflare |
| Категория TrafficVeil | Исследование инфраструктуры интернета и анти-фишинг / защита бренда (не «прочий нежелательный сервис») |
| Что делает на сайте | Анализирует технический стек сервера для Web Server Survey; при заданных клиентом задачах ищет фишинговые сайты и несанкционированное использование чужих логотипов/брендов |
| Список IP | Использует собственный ASN (AS15511) и отдельные диапазоны, включая 195.12.48.0/20 и 82.98.86.0/24 |
| robots.txt | Официально соблюдает директивы; сама компания не рекомендует блокировать бота из-за его ненавязчивого характера |
| Пометка TrafficVeil | Легитимный — особенно полезен для брендов, которым важна защита от фишинговых клонов |
Зачем Netcraft приходит на сайт
Большинство сайтов видят Netcraft эпизодически — в рамках регулярных обновлений общего интернет-исследования, где отслеживаются технологии хостинга и серверное ПО. Для конкретных клиентов Netcraft краулер может выполнять точечные задачи — например, искать сайты, незаконно использующие чужой логотип или выдающие себя за конкретный бренд, что напрямую питает анти-фишинговые сервисы компании.
Почему пометка «нежелательный» здесь особенно неуместна
Для индустрии, где распространены фишинговые клоны легитимных брендов (в том числе букмекерских и гемблинг-сайтов), Netcraft — один из инструментов, которые как раз помогают выявлять и снимать такие поддельные сайты. Блокировка бота не защищает контент от угрозы, а лишает бизнес шанса попасть в мониторинг, который может обнаружить подделку под ваш собственный бренд. Сама компания прямо говорит: из-за ненавязчивого характера краулера блокировать его не рекомендуется.
Как найти Netcraft в логах
# Базовый поиск
grep -i "netcraft" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "netcraft" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP — сверяем с ASN Netcraft (AS15511)
grep -i "netcraft" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверьте ASN запроса — у Netcraft он собственный:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (рекомендация самой компании — не блокировать)
User-agent: netcraft
Allow: /
# Если нагрузка ощутима, вместо полного запрета — задержка между запросами
User-agent: netcraft
Crawl-delay: 30
Allow: /TrafficVeil: стандартный выбор для большинства сайтов — allow без ограничений, поскольку нагрузка обычно невелика, а сама компания рекомендует не блокировать бота. Если нагрузка всё же заметна во время цикла общего исследования, разумнее задать Crawl-delay, а не полный запрет — это снизит частоту без потери присутствия в анти-фишинговом мониторинге.
Что в итоге делать с Netcraft
| Ситуация | Действие |
| Стандартный случай | Allow — компания сама не рекомендует блокировку |
| Бренд подвержен риску фишинговых клонов (в том числе в гемблинг-нише) | Allow — присутствие в мониторинге Netcraft может помочь обнаружить подделку |
| Нагрузка ощутима во время цикла обследования | Crawl-delay вместо полной блокировки |
| Подозрение на спуфинг UA | Сверять по ASN AS15511, а не доверять строке UA |