Энциклопедия ботов

Стандартный HTTP-клиент Go (go-http-client) в программах и микросервисах на Go. Часто означает backend-сервис, CLI-утилиту или мониторинг, а не пользователя.

Компонент Goodreads проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

Робот Google для проверки соответствия рекламных landing page политикам Google Ads. Сканирует URL из объявлений на предмет малware, обмана и качества UX.

Сервис чтения лент Google забирает RSS/Atom с сайта для отображения в приложении или браузере. Запросы идут от серверов агрегатора, а не от каждого пользователя отдельно.

Инфраструктура Google загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

Инструмент Google Search Console для проверки URL по запросу владельца сайта. Запускается при «Проверить URL» и тесте live-индексации.

Компонент Google проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

Инфраструктура Google загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису. Идентификатор в реестре: «Google-AdWords-Express».

Легитимный сервис Google: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

Компонент Google проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса. Идентификатор в реестре: «Google-PageRenderer».

Легитимный сервис Google: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping. Идентификатор в реестре: «Google-Site-Verification».

Инструмент Google для проверки structured data (JSON-LD, microdata) на странице. Загружает URL при тестировании разметки в Search Console или Rich Results Test.

Инфраструктура Google загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису. Идентификатор в реестре: «GoogleAssociationService».

Официальный поисковый робот Google для индексации веб-страниц в Google Search. Обходит сайты с учётом robots.txt и влияет на видимость в поиске.

Специализированный робот Google для индексации изображений в Google Images. Загружает картинки и alt-текст для поиска по визуальному контенту.

Легитимный сервис Google: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping. Идентификатор в реестре: «GoogleDocs».

Легитимный сервис Google: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping. Идентификатор в реестре: «GoogleProducer».

Инфраструктура Grammarly загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

Сервис GTmetrix для тестирования скорости загрузки и Core Web Vitals страниц. Запускается при анализе URL пользователем или по расписанию мониторинга.