Энциклопедия ботов

Академический краулер Gaisbot университета CCU (Тайвань) для исследовательских архивов. Собирает страницы для научных проектов и библиотечных коллекций.

HTTP-клиент «Generic Crawler» в User-Agent — типичен для скриптов, CI и backend-сервисов. Не идентифицирует конкретного бота, а отражает программную библиотеку запроса.

Программный агент Genome запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

Компонент Goodreads проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

Программный агент Google запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

Отдельный идентификатор Google для использования контента в обучении Gemini и Bard. Можно запретить через robots.txt независимо от GoogleBot.

Инфраструктура Google загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

Инструмент Google Search Console для проверки URL по запросу владельца сайта. Запускается при «Проверить URL» и тесте live-индексации.

Компонент Google проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

Программный агент Google запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера. Идентификатор в реестре: «Google-Agent».

Автоматизированный краулер Google: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «Google-Display-Ads-Bot».

Автоматизированный краулер Google: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «Google-NotebookLM».

Компонент Google проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса. Идентификатор в реестре: «Google-PageRenderer».

Легитимный сервис Google: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping. Идентификатор в реестре: «Google-Site-Verification».

Инструмент Google для проверки structured data (JSON-LD, microdata) на странице. Загружает URL при тестировании разметки в Search Console или Rich Results Test.

Автоматизированный краулер Google: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «GoogleAgent-Mariner».

Инфраструктура Google загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису. Идентификатор в реестре: «GoogleAssociationService».

Легитимный сервис Google: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping. Идентификатор в реестре: «GoogleDocs».

Обобщённый User-Agent Google для внутренних сервисов, не относящихся к основному поиску. Может использоваться R&D-командами Google для различных задач краулинга.

Сканер Google загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.

Программный агент Google запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера. Идентификатор в реестре: «GoogleOther Video».

Легитимный сервис Google: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping. Идентификатор в реестре: «GoogleProducer».

Краулер GoParserBot для парсинга и извлечения контента со страниц на Go. Используется в скрапинг-проектах и data pipeline.

Инфраструктура Grammarly загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.