videootvBot: зачем Digital Green сканирует статьи сайтов издателей

videootvBot — автоматизированный crawler, связанный с Videoo.tv и оператором Digital Green. Его основная задача — получать новые публикации сайтов издателей и использовать информацию о них для контентных модулей Videoo.tv.

Поэтому определять videootvBot как неизвестного scraper, универсального поискового crawler или систему мониторинга неправильно. У агента известен оператор, опубликовано конкретное назначение, существует документированный User-Agent, а Cloudflare Radar классифицирует его как verified bot категории Aggregator.

Параметр	Значение
Название	videootvBot
Оператор	Digital Green
Связанный сервис	Videoo.tv
Категория	Aggregator / Content Recirculation
Полный User-Agent	Mozilla/5.0 (compatible; videootvBot; +https://www.videoo.tv)
Основной UA-токен	videootvBot
Основная задача	Получение новых публикаций сайтов издателей
Источники обнаружения	Feed и HTML parsing
Использование данных	Карусели с изображениями, ссылками и текстом
Назначение каруселей	Content recirculation и native advertising
Поисковая индексация	Нет заявленного назначения
AI training	Не заявлено
Verified bot	Да
Категория TrafficVeil	Прочие краулеры и сервисы / Content Aggregator
Рекомендуемый статус	Легитимный / контекстно полезный

Кому принадлежит videootvBot

Оператор crawler известен — Digital Green.

Videoo.tv является частью Digital Green и работает в сфере рекламных технологий, монетизации издательских сайтов и content distribution.

Поэтому появление videootvBot особенно логично на сайтах медиа и других publishers, которые используют решения Videoo.tv.

Это принципиально отличается от неизвестного User-Agent, для которого невозможно установить ни владельца, ни назначение.

Зачем videootvBot приходит на сайт

Оператор описывает назначение crawler достаточно конкретно: videootvBot извлекает последние статьи с сайтов publishers.

Обнаружение новых материалов может выполняться двумя основными способами:

• через feed;
• через parsing HTML.

Полученная информация затем используется для формирования контентных каруселей.

Такая карусель может содержать:

• изображение материала;
• заголовок или другой текст;
• ссылку на публикацию;
• несколько связанных материалов.

Задача — помочь пользователю перейти к другой публикации и тем самым увеличить рециркуляцию аудитории внутри сайта издателя.

Что такое content recirculation

Content recirculation — повторное вовлечение уже находящегося на сайте пользователя в другой материал.

Например, посетитель дочитал статью:

Лучшие смартфоны этого года

и видит блок:

Вам также может быть интересно

→ Новый обзор смартфона A
→ Сравнение смартфонов B и C
→ Как увеличить время работы аккумулятора

Если пользователь выбирает следующий материал, он остаётся внутри сайта.

Для издателя это потенциально означает:

• больше внутренних переходов;
• увеличение глубины просмотра;
• дополнительные pageviews;
• больше рекламных показов;
• лучшее использование собственного контента.

Почему crawler нужен для такой функции

Система должна понимать, какие статьи вообще существуют и какие из них были опубликованы недавно.

Если издатель добавил:

https://example.com/news/new-article

Videoo.tv необходимо обнаружить новый материал, получить связанную с ним информацию и добавить его в доступный пул контента.

Именно этим объясняется автоматическое получение страниц.

Это не обычный поисковый робот

Признак	videootvBot	Googlebot/YandexBot
Основная цель	Работа контентных модулей publishers	Поисковая индексация
Главный результат	Контентные карусели и recirculation	Документы в поисковом индексе
Основные сайты	Publishers сервиса	Открытый веб
Работа с feeds	Да	Возможна, но не является единственной моделью
Связь с advertising	Да	Нет прямой связи с задачей crawler

videootvBot не следует путать и с link-preview fetcher

Отдельные каталоги относят videootvBot к fetcher, однако официальное описание Cloudflare точнее: агент извлекает новейшие статьи сайтов publisher.

Это несколько отличается от классического link-preview бота WhatsApp или Telegram, который обычно получает один конкретный URL после того, как пользователь поделился ссылкой.

videootvBot может систематически проверять publisher, поскольку ему необходимо обнаруживать появление новых публикаций.

Как выглядит User-Agent videootvBot

Документированная строка:

Mozilla/5.0 (compatible; videootvBot; +https://www.videoo.tv)

Для поиска в серверных логах достаточно стабильного токена:

videootvBot

с проверкой без учёта регистра.

Почему нельзя проверять только полную строку

Если когда-нибудь оператор изменит оболочку User-Agent, например версию Mozilla-совместимой строки, слишком строгая сигнатура может перестать работать.

Поэтому детектор TrafficVeil лучше строить вокруг устойчивого идентификатора:

videootvBot

а полную строку сохранять для дополнительного анализа.

Как найти videootvBot в логах

Все обращения:

grep -i "videootvbot" /var/log/nginx/access.log

Общее количество:

grep -ic "videootvbot" /var/log/nginx/access.log

Наиболее активные IP:

grep -i "videootvbot" /var/log/nginx/access.log \
| awk '{print $1}' \
| sort \
| uniq -c \
| sort -nr \
| head -20

Самые популярные URL:

grep -i "videootvbot" /var/log/nginx/access.log \
| awk '{print $7}' \
| sort \
| uniq -c \
| sort -nr \
| head -30

Распределение HTTP-кодов:

grep -i "videootvbot" /var/log/nginx/access.log \
| awk '{print $9}' \
| sort \
| uniq -c \
| sort -nr

Полезно отдельно посмотреть feeds

Поскольку оператор прямо указывает работу через feeds, имеет смысл проверить обращения к распространённым путям:

grep -i "videootvbot" /var/log/nginx/access.log \
| grep -Ei "/feed|rss|atom|\.xml"

Это помогает понять, обнаруживает ли агент публикации через RSS/Atom/XML либо переходит непосредственно к HTML.

Какие страницы логичны для videootvBot

Для publisher crawler вполне объяснимы:

• главная страница медиа;
• страницы новых публикаций;
• ленты материалов;
• RSS/Atom feeds;
• разделы с последними статьями;
• изображения или metadata, связанные с публикациями.

Какие запросы выглядят нетипично

Совсем иначе стоит оценивать:

GET /.env
GET /.git/config
GET /wp-login.php
GET /xmlrpc.php
GET /backup.sql
GET /phpmyadmin/

Такие URL не имеют очевидного отношения к построению карусели новых статей.

Если источник с User-Agent videootvBot начинает:

• искать уязвимости;
• перебирать административные интерфейсы;
• проверять backup-файлы;
• делать credential stuffing;
• посылать SQL injection probes;
• сканировать секретные файлы;

TrafficVeil не должен считать запрос безопасным только из-за знакомого имени.

videootvBot заявлен как crawler собственных publishers

Это одна из наиболее полезных деталей для антибот-системы.

Оператор указывает, что videootvBot сканирует только страницы publishers, работающих с системой.

Поэтому если вы видите его на сайте, который:

• никогда не подключался к Videoo.tv;
• не сотрудничает с Digital Green;
• не использует их рекламные модули;
• не является publisher в их системе;

стоит выяснить происхождение трафика.

Это не обязательно означает атаку: интеграцию мог подключить другой сотрудник, рекламный подрядчик или monetization-партнёр. Но автоматический trusted bypass в такой ситуации не нужен.

Как проверить, используется ли Videoo.tv на сайте

Практически стоит проверить:

• рекламные интеграции;
• HTML и JavaScript сторонних модулей;
• tag manager;
• договоры monetization;
• настройки CMS;
• издательские feeds;
• историю подключения внешних advertising partners.

На крупных медиа техническая команда может не знать о сервисе, подключённом рекламным или коммерческим подразделением.

Как оценивать нагрузку videootvBot

Для такого crawler полезнее измерять не один RPS, а структуру обхода.

Основные показатели:

• requests/hour;
• requests/day;
• unique URLs;
• повторные обращения к одним материалам;
• частота проверки feed;
• HTML vs static resources;
• response time;
• cache HIT/MISS;
• bandwidth;
• CPU origin.

Почему количество запросов может увеличиться после публикации материалов

Если задача crawler — находить новые статьи, естественным является увеличение активности в моменты, когда publisher публикует много контента.

Например:

00:00–08:00 → 3 новые статьи
08:00–12:00 → 50 новых статей

Во втором периоде crawler потенциально потребуется обработать больше новых URL.

Такая корреляция намного информативнее голого количества запросов.

Пример нормального профиля

/feed/                     200
/news/article-123/         200
/news/article-124/         200
/news/article-125/         200

Такой набор хорошо согласуется с обнаружением новых публикаций.

Пример подозрительного профиля

/.env                      404
/.git/config               403
/wp-login.php              200
/backup.zip                404
/phpmyadmin/               404

Такое поведение плохо соответствует документированной задаче videootvBot.

User-Agent можно подделать

Любой HTTP-клиент способен отправить:

User-Agent: Mozilla/5.0 (compatible; videootvBot; +https://www.videoo.tv)

Поэтому правило:

UA = videootvBot
→ bypass WAF

небезопасно.

TrafficVeil следует учитывать несколько сигналов:

• User-Agent;
• IP;
• ASN;
• URL;
• HTTP-метод;
• частоту;
• feed/article pattern;
• факт интеграции с Digital Green.

Есть ли официальный IP-список

В доступных публичных материалах мне не удалось подтвердить поддерживаемый Digital Green официальный IP-feed именно для videootvBot.

Поэтому нельзя брать случайный список адресов из сторонней базы и считать его постоянной инфраструктурой оператора.

IP и ASN полезны для анализа, но без официального списка они являются дополнительными, а не абсолютными признаками.

Как проверить IP вручную

IP="1.2.3.4"

whois "$IP"
dig +short -x "$IP"

ASN:

whois -h whois.cymru.com " -v $IP"

Не разрешайте весь hosting ASN только потому, что один подтверждённый запрос оператора ранее приходил из этой сети.

Соблюдает ли videootvBot robots.txt

Для агента существует отдельный robots-токен:

User-agent: videootvBot
Disallow: /

Сторонние bot-каталоги указывают поддержку robots.txt, однако при отсутствии отдельной подробной crawl-policy оператора безопаснее всё равно проверять реальное поведение после изменения файла.

Кроме того, robots.txt является декларативным механизмом, а не сетевой блокировкой.

robots.txt для частичного ограничения

Если необходимо исключить отдельные зоны:

User-agent: videootvBot
Disallow: /account/
Disallow: /checkout/
Disallow: /admin/
Disallow: /internal/

Однако чувствительные или приватные endpoints в любом случае должны защищаться настоящей авторизацией, WAF или access-control, а не только robots.txt.

Как заблокировать videootvBot через Nginx

Полный запрет по UA:

if ($http_user_agent ~* "videootvbot") {
    return 403;
}

Это остановит клиента с таким User-Agent, но не доказывает его принадлежность Digital Green.

Apache .htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} videootvBot [NC]
RewriteRule ^ - [F,L]

Когда rate limit лучше полного deny

Если сайт действительно использует Videoo.tv, но crawler создаёт неожиданно много запросов, полная блокировка может быть слишком грубой.

Сначала определите:

1. какие URL получает crawler;
2. сколько новых материалов публикуется;
3. сколько запросов приходится на feeds;
4. сколько URL повторяется;
5. какую нагрузку запросы создают на origin;
6. насколько эффективно работает cache.

Пример выборочного rate limit для Nginx

map $http_user_agent $videootv_limit_key {
    default "";
    ~*videootvBot $binary_remote_addr;
}

limit_req_zone $videootv_limit_key zone=videootv:10m rate=1r/s;

server {
    location / {
        limit_req zone=videootv burst=10;
    }
}

Значение 1r/s приведено как пример синтаксиса, а не как универсальный рекомендуемый лимит.

Что произойдёт после блокировки videootvBot

Для сайта, который не использует Videoo.tv, заметных последствий может вообще не быть.

Для publisher-партнёра результат другой.

Если crawler не сможет получать новые статьи, потенциально могут перестать нормально обновляться:

• контентные карусели;
• списки новых публикаций;
• рекомендательные native-модули;
• связанные функции content recirculation.

То есть сайт сам по себе останется доступным, но интеграция может работать с устаревшими данными.

Влияет ли videootvBot на SEO

videootvBot не является Googlebot или YandexBot, поэтому его блокировка напрямую не удалит страницы из поисковой выдачи.

Возможный косвенный эффект связан с рециркуляцией аудитории.

Если сервис приводит пользователя на другие материалы сайта, его отключение потенциально способно изменить:

• внутренние переходы;
• pageviews;
• глубину просмотра;
• рекламные показы.

Это вопрос работы publisher-модуля, а не поисковой индексации самим crawler.

Не считайте videootvBot реальной аудиторией

HTTP-запрос crawler не является просмотром человека.

Он не должен увеличивать:

• реальных посетителей;
• конверсии;
• DAU;
• человеческие сессии;
• пользовательский engagement.

TrafficVeil полезно отображать такие запросы отдельно в категории Content Aggregators.

Стоит ли считать videootvBot нежелательным

Универсальная метка «нежелательный» слишком грубая.

Это известный verified bot с конкретной коммерческой функцией.

Но легитимный не означает полезный для каждого домена.

Контекст	Оценка
Publisher использует Videoo.tv	Полезный сервисный crawler
Digital Green подключён через advertising team	Скорее ожидаемый трафик
Сайт никогда не использовал сервис	Специальный Allow не требуется
Поведение соответствует scanning уязвимостей	Подозрительный независимо от UA
Подтверждённый bot создаёт большую нагрузку	Сначала анализ, затем rate limit

videootvBot в TrafficVeil

В TrafficVeil его правильнее классифицировать как Content Aggregator / Publisher Service внутри группы сервисных ботов.

Рекомендуемый алгоритм:

1. обнаружить токен videootvBot;
2. сохранить полный UA;
3. определить IP и ASN;
4. посмотреть запрашиваемые URL;
5. проверить feeds;
6. проанализировать HTTP-методы;
7. проверить соответствие publisher crawling;
8. уточнить наличие интеграции Digital Green;
9. применить allow, limit или deny.

Как может выглядеть карточка videootvBot

Поле	Рекомендуемое значение
Название	videootvBot
Оператор	Digital Green
Сервис	Videoo.tv
Категория	Content Aggregator
Подкатегория	Publisher / Native Advertising
Статус	Легитимный / контекстно полезный
User-Agent	Mozilla/5.0 (compatible; videootvBot; +https://www.videoo.tv)
Основная задача	Получение новых публикаций publishers
Search crawler	Нет
AI training	Не заявлено
Рекомендуемая проверка	UA + IP/ASN + URL/feed pattern + контекст интеграции

Когда videootvBot лучше разрешить

• сайт является publisher-партнёром Videoo.tv;
• используются native content modules Digital Green;
• необходимо автоматически обнаруживать новые статьи;
• контентные карусели должны регулярно обновляться;
• характер запросов соответствует документированной функции.

Когда стоит ограничить

• частота стала неожиданно высокой;
• crawler повторно обращается к дорогим динамическим страницам;
• возникает нагрузка на origin;
• необходимо контролировать bandwidth;
• сервис нужен, но неограниченная частота нежелательна.

Когда deny оправдан

• сайт не использует Videoo.tv или Digital Green;
• crawler не приносит бизнес-пользы;
• интеграция была отключена;
• источник занимается security scanning;
• User-Agent явно используется как маскировка;
• поведение не соответствует publisher crawler.

Практический чек-лист

1. Исправьте оператора. videootvBot связан с Digital Green и Videoo.tv.
2. Используйте полный известный UA. Это не просто строка videootvbot.
3. Не называйте его универсальным scraper. Его задача связана с новыми публикациями publishers.
4. Проверьте feeds. Оператор прямо указывает feed как один из источников.
5. Сравните активность с публикациями. Рост после выхода новых статей может быть закономерен.
6. Проверьте интеграцию. Сервис мог подключить advertising или monetization-отдел.
7. Не доверяйте одному UA. Анализируйте IP, ASN, URL и поведение.
8. Не относите его к AI crawler. Такое назначение не заявлено.
9. Не считайте запросы аудиторией. Это автоматизированный трафик.
10. Выбирайте политику по бизнес-контексту. Для publisher он может быть полезным, для постороннего сайта — нет.

Итог

videootvBot — verified content crawler Digital Green, связанный с сервисом Videoo.tv. Его задача — находить новые публикации сайтов publishers через feeds или HTML parsing и использовать полученные данные в каруселях с изображениями, текстом и ссылками для native advertising и content recirculation.

Это не поисковый индексатор и не неизвестный универсальный scraper. Документированный User-Agent — Mozilla/5.0 (compatible; videootvBot; +https://www.videoo.tv).

Для publisher, который работает с Videoo.tv, такие обращения являются ожидаемой частью интеграции, и полный deny может нарушить обновление контентных модулей. Для сайта, который с Digital Green никак не связан, отдельное доверенное исключение обычно не требуется.

TrafficVeil лучше идентифицировать videootvBot по сочетанию User-Agent, IP/ASN, feed/article pattern и бизнес-контекста. Это позволяет пропускать полезный publisher traffic и одновременно не доверять клиенту, который только скопировал известную строку User-Agent.