Энциклопедия ботов

Автоматизированный краулер Capital One: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «CapitalOneBot».

Платформа Catchpoint для мониторинга цифрового опыта — synthetic и real-user monitoring. Имитирует посещения с разных локаций для измерения latency и доступности.

Краулер Common Crawl — некоммерческого архива веб-страниц для исследований и обучения NLP. Данные Common Crawl используются многими LLM и академическими проектами.

Программный агент Channel3 запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

Сканер ChatGLM- загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.

Агент OpenAI Operator для автономного выполнения задач в браузере от имени пользователя ChatGPT. Может взаимодействовать с веб-формами и загружать страницы по сценарию.

User-Agent ChatGPT при загрузке страниц по ссылкам из диалога пользователя OpenAI. Отражает точечный запрос контента, а не массовый обход сайта.

Легитимный сервис Checkly: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

Компонент CheckMarkNetwork проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

Легитимный сервис Chirp: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

Прокси Google Chrome для privacy-preserving prefetch — предзагрузка ссылок без раскрытия IP пользователя. Ускоряет переходы в Chrome при включённом prefetch.

Инструмент Google Lighthouse для аудита производительности, SEO и доступности страниц. Запускается из Chrome DevTools, CI или PageSpeed Insights.

Автоматизированный краулер Cincraw: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «Cincraw».

Легитимный сервис citoid: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

Агент Claude Code от Anthropic для загрузки документации и репозиториев при программировании с ИИ. Обращается к URL из задач разработчика для анализа кода и API.

Поисковый краулер Anthropic для индексации веб-контента в функциях поиска Claude. Собирает публичные страницы для улучшения ответов модели.

User-Agent агента Claude при просмотре страниц по запросу пользователя в чате Anthropic. Отражает интерактивный доступ к веб-контенту, а не массовый краулинг.

Агент Anthropic Claude для загрузки страниц при ответах пользователя в веб-интерфейсе Claude. Запрашивает URL, на которые ссылается диалог, для актуального контекста.

Официальный веб-краулер Anthropic для сбора публичного контента в обучающие датасеты Claude. Идентифицируется в User-Agent и может быть ограничен через robots.txt.

Автоматизированный клиент «ClearScope»: обращается к URL без участия человека из браузера.

Link preview-бот ClickUpLink читает Open Graph и meta-теги для карточки ссылки. Не индексирует сайт целиком, а точечно запрашивает переданный URL.

Сервис Cloudflare AutoRAG для индексации контента сайта в векторные базы RAG клиента. Обходит страницы владельца, подключившего AutoRAG на Cloudflare.

Компонент Cludo проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

Компонент Cốc Cốc проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.