NetcraftSurveyAgent: анти-фишинг и защита бренда, не угроза

Строка netcraftsurveyagent в базах помечена «нежелательный» с рекомендацией сразу блокировать. Это техническое имя того же бота, что уже разобран в этой энциклопедии под именем «Netcraft», — официального краулера британской компании Netcraft Ltd, известной с 1995 года. Разбираемся, чем на самом деле занимается этот бот и почему пометка «нежелательный» здесь ошибочна.

Что такое NetcraftSurveyAgent на самом деле

Netcraft Ltd — компания, основанная в 1995 году, известная прежде всего ежемесячным Web Server Survey — непрерывно публикуемым с момента основания отчётом о доле рынка веб-серверов (Apache, Nginx, IIS и другие). NetcraftSurveyAgent — технический краулер, который как раз и собирает данные для этого исследования: анализирует технический стек сервера, отвечающего на запрос. Помимо этого, Netcraft — крупный игрок на рынке анти-фишинга и защиты бренда, чей бизнес прямо зависит от сканирования интернета в поисках мошеннических и фишинговых сайтов.

Зачем NetcraftSurveyAgent приходит на сайт

Большинство сайтов видят этот бот эпизодически — в рамках регулярных обновлений общего интернет-исследования, где отслеживаются технологии хостинга и серверное ПО. Для конкретных клиентов Netcraft тот же бот может выполнять и точечные задачи анти-фишингового мониторинга — например, искать сайты, незаконно использующие чужой логотип или выдающие себя за конкретный бренд.

Почему пометка «нежелательный» здесь особенно неуместна

Для индустрии, где распространены фишинговые клоны легитимных брендов (в том числе букмекерских и гемблинг-сайтов), Netcraft — один из инструментов, которые как раз помогают выявлять и снимать такие поддельные сайты. Сама компания прямо говорит: из-за ненавязчивого характера краулера блокировать его не рекомендуется.

Как найти NetcraftSurveyAgent в логах

# Базовый поиск
grep -i "netcraftsurveyagent" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "netcraftsurveyagent" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP — сверяем с ASN Netcraft (AS15511)
grep -i "netcraftsurveyagent" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверьте ASN запроса — у Netcraft он собственный:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (рекомендация самой компании — не блокировать)
User-agent: netcraftsurveyagent
Allow: /

# Если нагрузка ощутима, вместо полного запрета — задержка между запросами
User-agent: netcraftsurveyagent
Crawl-delay: 30
Allow: /

TrafficVeil: стандартный выбор для большинства сайтов — allow без ограничений. Если нагрузка всё же заметна во время цикла общего исследования, разумнее задать Crawl-delay, а не полный запрет.

Что в итоге делать с NetcraftSurveyAgent