Watchful — реальный, официально задокументированный инструмент для WordPress-агентств, а не абстрактный «компонент проверки виджета». Watchful LLC (watchful.net) предлагает единую панель для удалённого управления множеством клиентских WordPress-сайтов: бэкапы, обновление плагинов, аптайм и SSL-мониторинг, аудит безопасности. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».
Что такое Watchful на самом деле
Watchful позиционируется как «инструментарий веб-разработчика» — агентства добавляют десятки, сотни или тысячи клиентских WordPress-сайтов в единую панель и управляют ими централизованно: расписание бэкапов, автообновление плагинов и ядра, мониторинг аптайма и валидности SSL, сканер на лучшие практики безопасности и вредоносный код. Официальная строка User-Agent содержит прямой контактный email оператора: Watchfulli/1.0 ([email protected]; +http://www.watchful.net; https://watchful.net/bot-info/).
Ключевая техническая деталь по официальному описанию: бот умеет не только проверить соединение с сайтом, но и, если соединение аутентифицировано (то есть на сайте установлен их WordPress-плагин), — собрать данные о самом сайте: используемое ПО, зарегистрированные пользователи и другую техническую информацию, нужную для управления сайтом из единой панели. Это объясняет, почему в черновике роль бота описана как «проверка корректности интеграции» — по сути, так оно и есть, просто механизм глубже простого health-check.
| Параметр | Значение |
| Название | Watchful |
| User-Agent (токен/паттерн) | watchful (официальная строка: Watchfulli/1.0 ([email protected]; +http://www.watchful.net; https://watchful.net/bot-info/)) |
| Оператор | Watchful LLC — платформа удалённого управления WordPress-сайтами для агентств |
| Назначение | Проверка соединения с сайтом и, при аутентифицированной связи через установленный плагин, сбор данных о сайте (ПО, пользователи) для централизованного управления |
| Список IP-адресов | Watchful предоставляет официальную инструкцию по добавлению своих IP и UA в allowlist — обратитесь к их базе знаний за актуальным списком |
| Соблюдение robots.txt | Не задокументировано явно для основного токена watchful; у связанного бота компании (WebsiteOps) подтверждено правило User-agent: WebsiteOps / Disallow: / |
| Используется для обучения моделей | Нет — назначение строго про управление и мониторинг конкретных клиентских сайтов |
| Категория TrafficVeil | Легитимный / Прочие краулеры и сервисы |
Как работает Watchful
Идентифицируется в access.log по паттерну User-Agent watchful. У компании есть как минимум два разных бота под разными UA — основной Watchful и связанный WebsiteOps, специализирующийся именно на проверке аптайма клиентских сайтов; оба стоит настраивать независимо друг от друга, если требуется точная фильтрация. Появление бота на сайте почти всегда означает, что сайт (или его WordPress-агентство) добавлен в панель Watchful для управления или мониторинга.
Нагрузка на сервер
На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий. Даже при умеренной средней частоте на одном домене возможны локальные всплески, похожие на L7-нагрузку: много 200 OK без роста реальных сессий. Признаки проблемной активности:
- рост RPS без роста конверсий;
- обход пагинации/каталога — нетипично для простого мониторинга, но возможно при полном аудите безопасности или сканировании файловой системы;
- повторяющиеся запросы к тяжёлым страницам;
- давление на origin CPU и bandwidth, особенно во время выполнения бэкапа или сканера безопасности.
Обнаружение в логах
# Все запросы
grep -i "watchful" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "watchful" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "watchful" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "watchful" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать. Watchful предоставляет собственную официальную инструкцию по добавлению их IP-адресов и UA в allowlist — если сайт (или клиент) действительно пользуется сервисом, стоит свериться именно с этой инструкцией, а не гадать по логам:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: watchful Disallow: / # Точечное ограничение User-agent: watchful Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: watchful Allow: /
Учитывайте: не все агенты строго соблюдают robots.txt. Если сайт управляется через Watchful, полная блокировка сломает бэкапы, обновления и мониторинг — прежде чем настраивать disallow, стоит уточнить это у команды или агентства, обслуживающего сайт.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "watchful") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=watchful:10m rate=15r/m;
location / {
if ($http_user_agent ~* "watchful") {
limit_req zone=watchful burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} watchful [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - найдите watchful / Watchful;
- если сайт управляется через Watchful (напрямую или через агентство) — allow, сверив IP по их официальной инструкции;
- если связи с сервисом нет — смело ставьте «запретить»;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- Перед блокировкой уточните, не подключён ли сайт к Watchful через агентство, обслуживающее WordPress — это меняет решение на противоположное;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков во время бэкапа или сканирования безопасности чаще достаточно rate-limit вместо полного 403;
- настраивайте отдельно связанного бота WebsiteOps той же компании, если он тоже встречается в логах.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Сайт управляется через Watchful (напрямую или через агентство) | Allow / разрешить в TrafficVeil, сверить IP по официальной инструкции Watchful |
| Сайт с Watchful никак не связан | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Сайт клиент, но беспокоит нагрузка от бэкапов/сканера | Rate-limit вместо полной блокировки |
| Нежелательный бот по базе TrafficVeil (после проверки связи с агентством) | Запретить в /system/bots и контролировать по логам |