Validator.nu — не «сервис для интеграции или доставки функции клиенту», как в общем шаблоне, а официальный HTML5-валидатор, сейчас известный как Nu Html Checker и лежащий в основе официального W3C Markup Validator. Как и в случае с W3C CSS Validator, это в первую очередь on-demand инструмент: запрос к сайту происходит, когда живой человек вручную ввёл URL страницы для проверки разметки. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».
Что такое Validator.nu на самом деле
Validator.nu (сейчас — Nu Html Checker) понимает современный HTML5 и даёт более релевантные сообщения об ошибках разметки, чем его предшественники. Инструмент открыт, доступен как публичный сервис на validator.w3.org/nu/, так и в виде отдельного ПО, которое можно развернуть локально. Официальная строка User-Agent выглядит так: Validator.nu/LV (http://validator.w3.org/services).
Важная оговорка, которую стоит знать, в отличие от W3C CSS Validator: независимые наблюдатели отмечают, что официальная документация Validator.nu не подтверждает поддержку исключения через robots.txt и соблюдение Crawl-delay этим ботом. Рекомендация для владельцев сайтов в таком случае — реализовывать ограничение на уровне файрвола по IP или UA, а не полагаться на файл.
| Параметр | Значение |
| Название | Validator.nu |
| User-Agent (токен/паттерн) | validator.nu (официальная строка: Validator.nu/LV (http://validator.w3.org/services)) |
| Оператор | W3C / проект Nu Html Checker (изначально независимый инструмент Henri Sivonen, ставший основой официального валидатора W3C) |
| Назначение | Проверка HTML/XHTML/HTML5-документов на соответствие веб-стандартам; запускается вручную пользователем сервиса |
| Список IP-адресов | ❌ Официального фиксированного списка не публикуется; наблюдались запросы с адресов, принадлежащих MIT |
| Соблюдение robots.txt | Официально не подтверждено — независимые источники отмечают отсутствие гарантии; рекомендуется файрвол по IP/UA как более надёжный способ |
| Используется для обучения моделей | Нет — узкоспециализированный валидатор разметки, не связан со сбором данных для AI |
| Категория TrafficVeil | Легитимный / Прочие краулеры и сервисы |
Как работает Validator.nu
Идентифицируется в access.log по паттерну User-Agent validator.nu. Появление этого бота обычно означает, что кто-то — разработчик, ваша команда или посторонний человек — запросил проверку HTML-разметки конкретной страницы через публичный сервис. Официальные условия использования сервиса прямо запрещают чрезмерную нагрузку на него: например, нельзя использовать браузерное расширение, которое отправляет на проверку содержимое каждой посещаемой страницы — это явно описано как злоупотребление.
Нагрузка на сервер
Поскольку это преимущественно ручной, разовый инструмент, нагрузка от него обычно минимальна — один запрос за одну проверку. Тем не менее, в отличие от W3C CSS Validator, здесь нет официального подтверждения вежливого поведения (пауза между запросами, соблюдение robots.txt), поэтому стоит внимательнее относиться к паттерну:
- единичный запрос за одну проверку — нормальное поведение;
- систематический, регулярный обход множества страниц от этого UA — нетипично и требует внимания, независимо от того, легитимный это визит или спуфинг;
- рост RPS без роста конверсий, как у любого автоматизированного fetch-бота.
Обнаружение в логах
# Все запросы
grep -i "validator.nu" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "validator.nu" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "validator.nu" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "validator.nu" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать, а официального списка IP нет. Наблюдались легитимные запросы с адресов, принадлежащих MIT (Массачусетский технологический институт, тесно связанный с W3C), но это не универсальная гарантия — для критичных решений проверяйте IP/ASN, частоту и path-паттерны:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: validator.nu Disallow: / # Точечное ограничение User-agent: validator.nu Disallow: /admin/ Disallow: /private/ Disallow: /wp-admin/ Allow: /public/ # Замедление обхода (не все боты это соблюдают) User-agent: validator.nu Crawl-delay: 10
Учитывайте: поскольку официальная документация не подтверждает соблюдение robots.txt этим ботом, файл стоит рассматривать как необязательную рекомендацию, а не гарантированный механизм контроля. Для надёжного ограничения используйте серверные правила по IP или UA, либо TrafficVeil.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "validator.nu") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=validator-nu:10m rate=15r/m;
location / {
if ($http_user_agent ~* "validator.nu") {
limit_req zone=validator-nu burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} validator.nu [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - для стандартной ситуации (единичные разовые проверки) — allow, это безопасный и полезный инструмент;
- если объём запросов выглядит подозрительно высоким или систематическим — rate-limit или запрет, не полагаясь на robots.txt;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- Учитывая разовую природу большинства визитов, блокировать по умолчанию не обязательно — это полезный инструмент, которым может пользоваться и ваша же команда;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков чаще достаточно rate-limit вместо полного 403;
- если видите систематический, а не единичный обход от этого UA — не полагайтесь на robots.txt, сразу переходите к серверным правилам.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
Отдельно стоит помнить про W3C CSS Validator, уже разобранный в этой энциклопедии, — концептуально это близкие инструменты одного семейства (проверка кода на соответствие стандартам), но с разной степенью документированного вежливого поведения.
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Стандартная ситуация — единичные проверки HTML | Allow / разрешить в TrafficVeil |
| Подозрительно высокая частота или объём запросов от этого UA | Rate-limit + проверка IP/ASN, не полагаясь на robots.txt |
| Подтверждённый спуфинг под легитимный валидатор | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Систематический обход множества страниц от этого UA | Не типично для разового инструмента — требует отдельной проверки |