Энциклопедия ботов

Автоматизированный краулер Bombora: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «BomboraBot».

Сканер br-crawler загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.

Автоматизированный краулер BrandVerity: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «BrandVerity».

Поисковый робот Brave Search (Brave Software) для независимого индекса без Google. Собирает страницы для выдачи в браузере Brave и API поиска.

Программный агент Bright запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

Компонент BrokenLinks для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов.

Инфраструктура Browserbase загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

Программный агент Bublup запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

Бот Buffer для предпросмотра ссылок при планировании постов в соцсетях. Загружает страницу, чтобы редактор увидел карточку до публикации.

Легитимный сервис Bugsnag: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

Инфраструктура bushbaby загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

Инфраструктура Buttondown загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

Краулер ByteDance (TikTok, Douyin) для индексации контента и обучения рекомендательных алгоритмов. Активно обходит сайты по всему миру, вызывая дискуссии о нагрузке на серверы.

Автоматизированный краулер Capital One: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «CapitalOneBot».

Платформа Catchpoint для мониторинга цифрового опыта — synthetic и real-user monitoring. Имитирует посещения с разных локаций для измерения latency и доступности.

Краулер Common Crawl — некоммерческого архива веб-страниц для исследований и обучения NLP. Данные Common Crawl используются многими LLM и академическими проектами.

Программный агент Channel3 запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

Сканер ChatGLM- загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.

Агент OpenAI Operator для автономного выполнения задач в браузере от имени пользователя ChatGPT. Может взаимодействовать с веб-формами и загружать страницы по сценарию.

User-Agent ChatGPT при загрузке страниц по ссылкам из диалога пользователя OpenAI. Отражает точечный запрос контента, а не массовый обход сайта.

Легитимный сервис Checkly: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

Компонент CheckMarkNetwork проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

Легитимный сервис Chirp: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

Прокси Google Chrome для privacy-preserving prefetch — предзагрузка ссылок без раскрытия IP пользователя. Ускоряет переходы в Chrome при включённом prefetch.