Строка dvbot в базах маркируют «нежелательный» с рекомендацией сразу блокировать или жёстко ограничивать. Это ошибка с прямой финансовой ценой для монетизируемых рекламой сайтов: DVbot принадлежит DoubleVerify (NYSE: DV) — крупной публичной компании, проверяющей качество и безопасность рекламных показов для крупнейших рекламодателей мира.
Что такое DVbot на самом деле
DoubleVerify — платформа верификации медиакачества: анализирует, куда именно показывается реклама, чтобы подтвердить рекламодателям, что показ безопасен для бренда, не является мошенническим (invalid traffic) и соответствует стандартам качества. DVbot — один из краулеров компании, который загружает страницы сайта, чтобы классифицировать их содержимое для этой проверки. Крупные рекламные партнёрские сети прямо рекомендуют не блокировать этот бот, чтобы не терять качественный рекламный спрос.
| Параметр | Значение |
| Название | DVbot |
| User-Agent / паттерн | dvbot |
| Оператор | DoubleVerify (NYSE: DV) — публичная компания, верификация рекламного качества и brand safety |
| Категория TrafficVeil | Ad-tech / brand-safety краулер для верификации рекламы (не «прочий нежелательный сервис») |
| Что делает на сайте | Анализирует контент страниц для классификации brand-safety и проверки качества рекламных показов |
| Список IP | ❌ Официального публичного списка от самой DoubleVerify не найдено, но известные диапазоны публикуют крупные рекламные партнёры (например, Raptive) для настройки белых списков |
| robots.txt | Крупные ad-tech партнёры рекомендуют держать бота в белом списке — блокировка не защищает контент, а мешает верификации |
| Пометка TrafficVeil | Легитимный — особенно для сайтов, монетизируемых программатик-рекламой |
Зачем DVbot приходит на сайт
Бот загружает страницы, чтобы классифицировать их контент и контекст — это часть механизма, который решает, безопасно ли конкретному рекламодателю показывать рекламу именно на этой странице. Если сайт участвует в программатик-рекламе, где задействован DoubleVerify (напрямую или через рекламную сеть-партнёра), визиты DVbot — ожидаемая и нужная часть рекламной цепочки, а не случайный обход.
Почему пометка «нежелательный» здесь ошибочна
DoubleVerify — один из крупнейших игроков рынка ad-verification, и крупные рекламные сети прямо публикуют инструкции по добавлению её ботов (включая DVbot) в белый список именно потому, что блокировка снижает качество и объём рекламного спроса на сайте. Для монетизируемых рекламой доменов это прямой финансовый риск, а не вопрос чистоты аналитики.
Как найти DVbot в логах
# Базовый поиск
grep -i "dvbot" /var/log/nginx/access.log
# Какие страницы анализирует бот
grep -i "dvbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "dvbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN, а при настройке rate-limit/CDN-защиты используйте известные диапазоны DoubleVerify, публикуемые рекламными партнёрами:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант для монетизируемых рекламой сайтов)
User-agent: dvbot
Allow: /
# Компромисс: закрыть только служебные разделы
User-agent: dvbot
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: прежде чем переключать dvbot в «запретить» по умолчанию, уточните у команды монетизации или рекламных партнёров, не завязана ли часть рекламного дохода сайта на верификацию DoubleVerify. Если завязана — вносите бот и известные диапазоны DoubleVerify в белый список без rate-limit; ограничение может снизить долю качественного рекламного спроса.
Что в итоге делать с DVbot
| Ситуация | Действие |
| Сайт монетизируется программатик-рекламой через партнёра, использующего DoubleVerify | Allow, без rate-limit |
| Связь с рекламной цепочкой не подтверждена, но нагрузка небольшая | Уточнить у команды монетизации, прежде чем блокировать |
| Сайт точно не работает с программатик-рекламой | Точечный Disallow / запрет в TrafficVeil |
| Подозрение на спуфинг UA | Сверять по ASN и известным диапазонам, а не доверять строке UA |