Dubbotbot: почему этот «нежелательный» бот часто настроен вашей же командой

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а Dubbotbot с User-Agent dubbotbot. Dubbotbot — краулер сервиса DubBot, который помогает организациям следить за доступностью сайта (WCAG-соответствие), качеством контента и битыми ссылками. Это не анонимный сборщик данных, а инструмент мониторинга и governance — обычно он сканирует сайт в рамках конфигурации, которую задаёт сам заказчик сервиса. Оператор: DubBot — сервис мониторинга доступности, качества контента и governance-политик сайта. Классификация: прежде чем ставить «нежелательный» по умолчанию, стоит выяснить, не подключена ли ваша команда (веб-разработка, QA, отдел доступности) к DubBot для мониторинга именно этого домена — это меняет решение allow/deny.

Что такое Dubbotbot

Зачем Dubbotbot приходит на сайт

DubBot сканирует сайты, чтобы проверить соответствие требованиям доступности (WCAG), найти битые ссылки и оценить качество контента — это классический «developer helper»-сценарий, а не массовый скрейпинг чужих данных.

• Какие зоны чаще трогает: публичные страницы сайта, ссылки, элементы разметки, влияющие на доступность
• Что ищет: нарушения WCAG, неработающие ссылки, проблемы качества контента и governance-политик
• Чем отличается от браузерного пользователя: нет обычной сессии, регулярные повторные сканирования по расписанию, заданному в аккаунте DubBot

Типичный кейс: маркетинг видит всплеск хитов в Метрике/GA, но сессии пустые. Причина — Dubbotbot. Правильная реакция в большинстве случаев — не «выключить сайт», а сначала уточнить у команды, не настроен ли мониторинг через DubBot, и только потом точечно ограничивать UA при необходимости.

Важный практический нюанс: маскировка UA

DubBot официально предоставляет администраторам инструмент для смены дефолтного User-Agent краулера — это предусмотрено для случаев, когда защита сайта (например, антибот-фильтры или CAPTCHA) случайно блокирует легитимный, санкционированный самим владельцем сайта краулинг. Это значит, что при подозрении на «непонятный» бот с нестандартным UA стоит уточнить у команды, не связано ли это с настройкой DubBot под замаскированным именем — простое сравнение по токену dubbotbot в этом случае не покажет всей картины.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у dubbotbot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика — особенно заметно на сайтах с частыми регулярными сканированиями. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти Dubbotbot в логах

# Базовый поиск
grep -i "dubbotbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "dubbotbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "dubbotbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "dubbotbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

В отличие от многих ботов в этой категории, у DubBot есть официально опубликованный список статических IP — это надёжнее, чем полагаться только на UA:

# Официальные IP DubBot (краулер): 34.213.65.175, 52.36.131.191
# Дополнительно для Uptime Monitor: 52.39.13.97

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Если запрос идёт не с этих адресов, но представляется как dubbotbot — это повод усомниться в подлинности и проверить поведение отдельно.

robots.txt для Dubbotbot

# Жёсткий запрет
User-agent: dubbotbot
Disallow: /

# Разрешить всё
User-agent: dubbotbot
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичные страницы
User-agent: dubbotbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: прежде чем ставить Disallow, убедитесь, что не отключаете тем самым мониторинг доступности, который сама компания оплачивает и использует для соответствия требованиям (например, WCAG для государственных или образовательных сайтов).

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "dubbotbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=dubbotbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "dubbotbot") {
        limit_req zone=dubbotbot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} dubbotbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите dubbotbot / Dubbotbot в ботах домена или в /system/bots
• Уточните у команды (веб-разработка, QA, отдел доступности), не подключён ли сайт к DubBot
• Мониторинг используется осознанно — allow, IP из официального списка можно занести в исключения
• Мониторинг не используется — можно ставить запрет без риска для SEO
• После изменения сверьте логи: хиты dubbotbot должны уйти в блок/лимит, а поисковики Google/Yandex остаться без изменений

Рекомендации: что делать с Dubbotbot

• Сайт мониторится через DubBot осознанно — Allow, добавив официальные IP в исключения; блокировка сломает отчёты по доступности и качеству контента
• Никто в команде не подтверждает использование DubBot — сначала уточните, затем при необходимости Disallow/403
• Нагрузка мешает, но сервис нужен — rate-limit как промежуточный шаг вместо полного запрета
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot вместе с dubbotbot

С кем не путать Dubbotbot