Боты6 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

BublupBot: редкий случай полной прозрачности от оператора

В отличие от большинства ботов в этой категории, у BublupBot есть официальная страница с описанием, точным User-Agent и задокументированной DNS-верификацией от самого Bublup. Разбираемся, зачем сервис визуальной организации контента заходит на сторонние сайты, почему у него уже встроен rate-limiting, и как через официальный канал вообще исключить сайт из посещений вместо технической блокировки.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота BublupBot: нежелательный прочие краулеры и сервисы

В отличие от большинства записей в категории «Прочие краулеры и сервисы», у BublupBot есть редкая роскошь — официальная страница с открытым описанием, точным User-Agent и даже инструкцией по верификации через DNS. Это бот сервиса Bublup (bublup.com), визуального инструмента для сохранения и организации ссылок, файлов и заметок. У большинства ботов в этой энциклопедии такой прозрачности нет — стоит этим воспользоваться.

1. Что такое BublupBot на самом деле

Bublup — облачный сервис для визуальной организации контента: пользователи сохраняют ссылки, файлы, изображения и заметки в персональные коллекции, делятся ими и создают из них лендинги. По официальному описанию самого Bublup, BublupBot систематически обходит интересный контент в интернете, формируя базу из миллионов элементов для движка рекомендаций сервиса — он подсказывает пользователям похожий контент и трендовые темы на основе того, что они сохраняют.

Функционально бот извлекает с посещённых страниц заголовок, описание и связанные изображения — это нужно, чтобы красиво отображать сохранённые ссылки, фильтровать спам и периодически обновлять уже сохранённый пользователями контент. То есть визит объясняется двумя механизмами сразу: широким обходом для наполнения базы рекомендаций и точечным обновлением уже сохранённых конкретными пользователями страниц.

Параметр Значение
Название BublupBot
Оператор Bublup, Inc. — официально подтверждённый оператор, bublup.com
Роль Систематический обход контента для базы рекомендаций сервиса + обновление данных по уже сохранённым пользователями страницам (заголовок, описание, изображения)
User-Agent / паттерн BublupBot (+https://www.bublup.com/bublup-bot.html) Mozilla/5.0 (compatible; BublupBot; https://www.bublup.com/bublup-bot.html)
Верификация Официально задокументирована: обратный DNS IP должен резолвиться в домен, заканчивающийся на bublup.com, затем прямой DNS этого имени должен вернуть тот же IP
Rate-limiting Настроен по умолчанию самим Bublup — бот сам ограничивает частоту параллельных запросов к одному сайту
Диапазон IP Не фиксирован — инфраструктура масштабируется динамически, IP могут меняться без предупреждения; жёстко прописывать конкретные адреса не рекомендуется самим оператором
Официальный opt-out Да — можно написать на info@bublup.com и попасть в список «do not visit», после чего бот перестанет посещать сайт вовсе
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы — при этом уровень прозрачности заметно выше типичного для этой категории (см. раздел 8)

2. Зачем BublupBot приходит на сайт

  • наполнение общей базы рекомендаций Bublup — систематический обход контента, который потенциально может быть интересен пользователям сервиса;
  • обновление данных по странице, которую конкретный пользователь Bublup уже сохранил в свою коллекцию — заголовок, описание, превью-изображение могли устареть с момента сохранения;
  • фильтрация спама — часть логики бота работает на отсев некачественного контента при построении рекомендаций.

Типичный кейс: в логах регулярно фиксируется BublupBot на разных, не всегда связанных между собой страницах сайта — это ожидаемо, поскольку бот не привязан только к разово сохранённым пользователями URL, а ведёт и более широкий систематический обход для базы рекомендаций.

3. Нагрузка и риски

Формально нагрузка ожидается умеренной — сам Bublup заявляет встроенный rate-limiting параллельных запросов к одному сайту. На практике это выгодно отличает BublupBot от многих других записей в категории «Прочие краулеры и сервисы», где о самоограничении частоты запросов ничего не известно.

Прямой пользы для владельца сайта, как правило, нет — данные уходят в рекомендательную базу Bublup, а не возвращаются в виде трафика или атрибуции. Основной практический риск для большинства сайтов — фоновый шум в аналитике и небольшой дополнительный расход ресурсов, а не что-то более серьёзное: описанная функция бота (извлечение title/description/изображений) технически близка к тому, что делают легитимные fetcher-ы превью-ссылок.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти BublupBot в логах

# Базовый поиск
grep -i "bublupbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "bublupbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — помните, что диапазон у Bublup не фиксирован
grep -i "bublupbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "bublupbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Здесь, в отличие от большинства других записей энциклопедии, есть официальная, задокументированная самим оператором процедура:

# Шаг 1: обратный DNS по IP из лога
dig +short -x "$IP"
# Ожидаемый результат: имя хоста, заканчивающееся на bublup.com

# Шаг 2: прямой DNS по полученному имени
dig +short "hostname.bublup.com"
# Ожидаемый результат: тот же самый IP, что и в шаге 1

Если трафик с валидным Bublup User-Agent не проходит эту проверку — по рекомендации самого оператора стоит написать на info@bublup.com, а не сразу считать это подделкой UA.

5. robots.txt для BublupBot

# Жёсткий запрет
User-agent: BublupBot
Disallow: /

# Разрешить всё
User-agent: BublupBot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: BublupBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную, через TrafficVeil — и официальный канал

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "bublupbot") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_b413ae0ce266_key {
    default "";
    "~*bublupbot" $binary_remote_addr;
}
limit_req_zone $tv_ng_b413ae0ce266_key zone=tv_ng_b413ae0ce266:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_b413ae0ce266 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} bublupbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • найдите bublupbot в разделе ботов домена или в /system/bots;
  • для нежелательного сценария — категория «запретить», технически это надёжно закроет доступ;
  • но здесь есть более чистый вариант, недоступный для большинства других записей: написать на info@bublup.com с просьбой добавить домен в список «do not visit» — это официальный канал, а не только техническая блокировка;
  • после изменения сверьте логи: хиты BublupBot должны уйти в блок/лимит (или прекратиться вовсе при использовании официального opt-out).

7. Что делать: короткий алгоритм

  • Пользы нет и трафик раздражает — самый чистый вариант здесь: написать в Bublup напрямую и попросить добавить сайт в «do not visit», а не только настраивать техническую блокировку;
  • Хотите технической блокировки быстро, не дожидаясь ответа оператора — Disallow/403 стандартным способом;
  • Нагрузка минимальна благодаря встроенному rate-limiting самого бота — для многих сайтов можно вообще не трогать;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно;
  • Не полагайтесь на фиксированные IP-адреса для верификации — используйте DNS-проверку, которую рекомендует сам оператор.

8. Открытый вопрос по категоризации

Стоит обратить внимание на разрыв между статусом «нежелательный» и фактическим уровнем прозрачности этого бота: у BublupBot есть открытая документация, точный UA, официальная DNS-верификация, заявленное самоограничение частоты запросов и прямой канал opt-out — это заметно выше стандарта для большинства записей в категории «Прочие краулеры и сервисы», где ничего из этого обычно нет. Статус «нежелательный», вероятно, оправдан именно отсутствием пользы для сайта (данные уходят в чужую рекомендательную базу без атрибуции), а не недобросовестностью самого бота — возможно, стоит явно различать эти два разных основания для одной и той же пометки в будущих статьях.

9. Стратегия allow/deny для BublupBot

Ситуация Действие
Сайт заинтересован в присутствии в рекомендациях Bublup Allow
Пользы нет, хочется чистого решения без технической возни Написать на info@bublup.com для добавления в «do not visit»
Пользы нет, нужна немедленная техническая блокировка Disallow + запрет в TrafficVeil
Нагрузка минимальна, беспокойства нет Не трогать — встроенный rate-limiting бота обычно этого достаточно
Подозрение на spoofing UA Использовать официальную DNS-верификацию (обратный + прямой DNS), а не догадки по ASN
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Кто официально стоит за BublupBot?
Bublup, Inc. — сервис визуальной организации контента, который открыто публикует описание бота и инструкцию по его верификации.
Как реально проверить, что запрос от настоящего BublupBot?
Через обратный DNS IP-адреса (должен вести на домен, заканчивающийся на bublup.com) и последующий прямой DNS с тем же результатом.
Есть ли у BublupBot встроенные ограничения по нагрузке?
Да, оператор заявляет автоматический rate-limiting параллельных запросов к одному сайту.
Можно ли попросить Bublup вообще не посещать сайт?
Да, для этого есть официальный канал — письмо на info@bublup.com с просьбой добавить сайт в список «do not visit».
Почему статус в базе всё равно «нежелательный», если бот такой прозрачный?
Скорее всего потому, что прямой пользы для владельца сайта нет, а не из-за недобросовестности самого бота — это разные основания для одной пометки.
Стоит ли полагаться на список IP-адресов Bublup при настройке блокировки?
Нет, сам оператор предупреждает, что IP динамические и могут меняться без уведомления — надёжнее использовать DNS-верификацию.
#BublupBot#Bublup#User-Agent#антибот#DNS-верификация#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота Cotoyogi: нежелательный прочие краулеры и сервисы
Боты·6 мин

Cotoyogi: AI-краулер без установленного оператора

У Cotoyogi нет официальной документации или контактов оператора, но его классификация как training-краулера для обучения AI-моделей независимо повторяется сразу в нескольких разных каталогах ботов — более надёжный сигнал, чем совпадение в одном общем списке. Разбираемся, почему это меняет уровень доверия к оценке риска и почему блокировка здесь остаётся единственным доступным способом реагирования при отсутствии канала связи с оператором.

Читать
Иллюстрация бота AccessStatus: проверка аптайма с внешних точек
Боты·6 мин

AccessStatus: вероятно, ваш мониторинг доступности

AccessStatus по независимой классификации — монитор HTTP-статусов той же природы, что UptimeRobot и уже разобранный в этой энциклопедии Chirp, хотя отдельной компании-оператора за ним найти не удалось. Разбираемся, почему сама задача uptime-мониторинга делает маловероятным сценарий постороннего слежения, и что важнее проверить до технической блокировки.

Читать
Уникальная иллюстрация бота BlogVault: легитимный прочие краулеры и сервисы
Боты·6 мин

BlogVault: скорее всего, ваша система резервного копирования

BlogVault — реальный сервис резервного копирования WordPress, который сайт подключает сознательно, а не сторонний краулер, и официальная верификация здесь строится на связке User-Agent и обратного DNS. Разбираемся, почему первый шаг при появлении этого бота в логах — не техническая блокировка, а простой вопрос о том, чей это аккаунт, и что делать, если подключение осталось от прежнего подрядчика.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil