Строка netcraftsurveyagent в базах помечена «нежелательный» с рекомендацией сразу блокировать. Это техническое имя того же бота, что уже разобран в этой энциклопедии под именем «Netcraft», — официального краулера британской компании Netcraft Ltd, известной с 1995 года. Разбираемся, чем на самом деле занимается этот бот и почему пометка «нежелательный» здесь ошибочна.
Что такое NetcraftSurveyAgent на самом деле
Netcraft Ltd — компания, основанная в 1995 году, известная прежде всего ежемесячным Web Server Survey — непрерывно публикуемым с момента основания отчётом о доле рынка веб-серверов (Apache, Nginx, IIS и другие). NetcraftSurveyAgent — технический краулер, который как раз и собирает данные для этого исследования: анализирует технический стек сервера, отвечающего на запрос. Помимо этого, Netcraft — крупный игрок на рынке анти-фишинга и защиты бренда, чей бизнес прямо зависит от сканирования интернета в поисках мошеннических и фишинговых сайтов.
| Параметр | Значение |
| Название | NetcraftSurveyAgent |
| User-Agent / паттерн | netcraftsurveyagent |
| Оператор | Netcraft Ltd, Великобритания, с 1995 года — верифицирован в каталоге ботов Cloudflare |
| Категория TrafficVeil | Исследование инфраструктуры интернета и анти-фишинг / защита бренда (не «прочий нежелательный сервис») |
| Что делает на сайте | Анализирует технический стек сервера для Web Server Survey; в рамках анти-фишинговых задач может искать несанкционированное использование чужих логотипов/брендов |
| Список IP | Использует собственный ASN (AS15511) и отдельные диапазоны, включая 195.12.48.0/20 и 82.98.86.0/24 |
| robots.txt | Официально соблюдает директивы; сама компания не рекомендует блокировать бота из-за его ненавязчивого характера |
| Пометка TrafficVeil | Легитимный — особенно полезен для брендов, которым важна защита от фишинговых клонов |
Зачем NetcraftSurveyAgent приходит на сайт
Большинство сайтов видят этот бот эпизодически — в рамках регулярных обновлений общего интернет-исследования, где отслеживаются технологии хостинга и серверное ПО. Для конкретных клиентов Netcraft тот же бот может выполнять и точечные задачи анти-фишингового мониторинга — например, искать сайты, незаконно использующие чужой логотип или выдающие себя за конкретный бренд.
Почему пометка «нежелательный» здесь особенно неуместна
Для индустрии, где распространены фишинговые клоны легитимных брендов (в том числе букмекерских и гемблинг-сайтов), Netcraft — один из инструментов, которые как раз помогают выявлять и снимать такие поддельные сайты. Сама компания прямо говорит: из-за ненавязчивого характера краулера блокировать его не рекомендуется.
Как найти NetcraftSurveyAgent в логах
# Базовый поиск
grep -i "netcraftsurveyagent" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "netcraftsurveyagent" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP — сверяем с ASN Netcraft (AS15511)
grep -i "netcraftsurveyagent" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверьте ASN запроса — у Netcraft он собственный:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (рекомендация самой компании — не блокировать)
User-agent: netcraftsurveyagent
Allow: /
# Если нагрузка ощутима, вместо полного запрета — задержка между запросами
User-agent: netcraftsurveyagent
Crawl-delay: 30
Allow: /TrafficVeil: стандартный выбор для большинства сайтов — allow без ограничений. Если нагрузка всё же заметна во время цикла общего исследования, разумнее задать Crawl-delay, а не полный запрет.
Что в итоге делать с NetcraftSurveyAgent
| Ситуация | Действие |
| Стандартный случай | Allow — компания сама не рекомендует блокировку |
| Бренд подвержен риску фишинговых клонов (в том числе в гемблинг-нише) | Allow — присутствие в мониторинге Netcraft может помочь обнаружить подделку |
| Нагрузка ощутима во время цикла обследования | Crawl-delay вместо полной блокировки |
| Подозрение на спуфинг UA | Сверять по ASN AS15511, а не доверять строке UA |