ГлавнаяЭнциклопедия ботов
Bot Detection

Энциклопедия ботов

Открытый справочник User-Agent: кто обращается к вашему серверу, легитимен ли визит и что с ним делать на уровне WAF, nginx или антибот-системы. Данные синхронизированы с базой TrafficVeil Bot Detection.

618ботов в справочнике с описанием на русском
10категорий: от поисковиков до парсеров
620подробных разбора в блоге
7,1 млнадресов в базах блокировок сервиса

Показано 289–312 из 362 ботов · по алфавиту

Уникальная иллюстрация бота SMTBot: нежелательный прочие краулеры и сервисы

SMTBot

Нежелательный
Прочие краулеры и сервисы

Автоматизированный краулер SMT: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «SMTBot».

UA: smtbot
ОграничиватьПодробнее
Уникальная иллюстрация бота Snapchat: легитимный прочие краулеры и сервисы

Snapchat

Легитимный
Прочие краулеры и сервисы

Компонент Snapchat проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

UA: snapchat
ПропускатьПодробнее
Уникальная иллюстрация бота SogouBot: нежелательный прочие краулеры и сервисы

SogouBot

Нежелательный
Прочие краулеры и сервисы

Программный агент Sogou запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

UA: sogou
ОграничиватьПодробнее
Уникальная иллюстрация бота Spectate: легитимный прочие краулеры и сервисы

Spectate

Легитимный
Прочие краулеры и сервисы

Инфраструктура Spectate загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

UA: spectate
ПропускатьПодробнее
Уникальная иллюстрация бота SpiderLing: нежелательный прочие краулеры и сервисы

SpiderLing

Нежелательный
Прочие краулеры и сервисы

Автоматизированный краулер Ling: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «SpiderLing».

UA: spiderling
ОграничиватьПодробнее
Уникальная иллюстрация бота Splunk: легитимный прочие краулеры и сервисы

Splunk

Легитимный
Прочие краулеры и сервисы

Компонент Splunk проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

UA: splunk
ПропускатьПодробнее
Уникальная иллюстрация бота StartmeBot: нежелательный прочие краулеры и сервисы

StartmeBot

Нежелательный
Прочие краулеры и сервисы

Автоматизированный краулер Startme: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «StartmeBot».

UA: startmebot
ОграничиватьПодробнее
Уникальная иллюстрация бота Statabot: нежелательный прочие краулеры и сервисы

Statabot

Нежелательный
Прочие краулеры и сервисы

Сканер Statabot загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.

UA: statabot
ОграничиватьПодробнее
Уникальная иллюстрация бота Statdom Bot: легитимный прочие краулеры и сервисы

Statdom Bot

Легитимный
Прочие краулеры и сервисы

Компонент Statdom Bot проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

UA: statdom.ru/bot
ПропускатьПодробнее
Уникальная иллюстрация бота Statuser Bot: легитимный прочие краулеры и сервисы

Statuser Bot

Легитимный
Прочие краулеры и сервисы

Платформа Statuser для synthetic monitoring — имитирует обращение к странице и фиксирует latency. Используется DevOps и SRE для раннего обнаружения простоев.

UA: statuser bot
ПропускатьПодробнее
Уникальная иллюстрация бота SteamChat: легитимный прочие краулеры и сервисы

SteamChat

Легитимный
Прочие краулеры и сервисы

Легитимный сервис Steam: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

UA: steamchat
ПропускатьПодробнее
Уникальная иллюстрация бота StormIntelCrawler: нежелательный прочие краулеры и сервисы

StormIntelCrawler

Нежелательный
Прочие краулеры и сервисы

Автоматизированный краулер StormIntel: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «StormIntelCrawler».

UA: stormintelcrawler
ОграничиватьПодробнее
Уникальная иллюстрация бота Stripebot: нежелательный прочие краулеры и сервисы

Stripebot

Нежелательный
Прочие краулеры и сервисы

Бот Stripe для проверки webhook-эндпоинтов и URL в настройках платёжного аккаунта. Запросы связаны с верификацией интеграций Stripe.

UA: stripebot
ОграничиватьПодробнее
Уникальная иллюстрация бота SubstackContentFetch: легитимный прочие краулеры и сервисы

SubstackContentFetch

Легитимный
Прочие краулеры и сервисы

Инфраструктура Substack загружает страницы или ресурсы в рамках штатной работы платформы. Обычно ожидаемый трафик при подключении сайта к сервису.

UA: substackcontentfetch
ПропускатьПодробнее
Уникальная иллюстрация бота SuperBot: нежелательный прочие краулеры и сервисы

SuperBot

Нежелательный
Прочие краулеры и сервисы

Универсальный идентификатор SuperBot в различных краулинг-системах и зеркалах. Конкретное назначение зависит от оператора, использующего это имя в User-Agent.

UA: superbot
ОграничиватьПодробнее
Уникальная иллюстрация бота SurdotlyBot: нежелательный прочие краулеры и сервисы

SurdotlyBot

Нежелательный
Прочие краулеры и сервисы

Сканер Surdotly загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.

UA: surdotlybot
ОграничиватьПодробнее
Уникальная иллюстрация бота Synapse: легитимный прочие краулеры и сервисы

Synapse

Легитимный
Прочие краулеры и сервисы

Легитимный сервис Synapse: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

UA: synapse
ПропускатьПодробнее
Уникальная иллюстрация бота t3versionsBot: нежелательный прочие краулеры и сервисы

t3versionsBot

Нежелательный
Прочие краулеры и сервисы

Программный агент t3versions запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

UA: t3versionsbot
ОграничиватьПодробнее
Уникальная иллюстрация бота TavilyBot: нежелательный прочие краулеры и сервисы

TavilyBot

Нежелательный
Прочие краулеры и сервисы

Краулер Tavily — API-поиска для AI-агентов и RAG-приложений. Загружает страницы по запросам разработчиков, интегрировавших Tavily Search.

UA: tavilybot
ОграничиватьПодробнее
Уникальная иллюстрация бота TerraCotta: легитимный прочие краулеры и сервисы

TerraCotta

Легитимный
Прочие краулеры и сервисы

Легитимный сервис TerraCotta: обращается к сайту для интеграции, верификации или доставки функции клиенту. Запросы связаны с настройками аккаунта, а не с массовым scraping.

UA: terracotta
ПропускатьПодробнее
Уникальная иллюстрация бота Testomatobot: нежелательный прочие краулеры и сервисы

Testomatobot

Нежелательный
Прочие краулеры и сервисы

Программный агент Testomatobot запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.

UA: testomatobot
ОграничиватьПодробнее
Уникальная иллюстрация бота TikTokSpider: нежелательный прочие краулеры и сервисы

TikTokSpider

Нежелательный
Прочие краулеры и сервисы

Робот TikTok для индексации веб-контента, связанного с платформой коротких видео ByteDance. Собирает метаданные страниц для превью и поиска внутри TikTok.

UA: tiktokspider
ОграничиватьПодробнее
Уникальная иллюстрация бота TimpiBot: нежелательный прочие краулеры и сервисы

TimpiBot

Нежелательный
Прочие краулеры и сервисы

Автоматизированный краулер Timpi: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «TimpiBot».

UA: timpibot
ОграничиватьПодробнее
Уникальная иллюстрация бота TLM Audit Scanner: легитимный прочие краулеры и сервисы

TLM Audit Scanner

Легитимный
Прочие краулеры и сервисы

Компонент TLM Audit Scanner проверяет URL при установке виджета, webhook или tracking-кода на сайте. Подтверждает корректность интеграции от имени пользователя сервиса.

UA: tlm-audit-scanner
ПропускатьПодробнее

Как мы определяем ботов

User-Agent — только повод присмотреться: подделать строку может кто угодно. Решение принимается по совокупности признаков, и каждый из них проверяется отдельно.

Обратный DNS

Главная проверка для поисковиков: адрес разворачивается в имя, имя — обратно в адрес. Подделка под Googlebot и YandexBot отсекается именно здесь, а не по строке User-Agent.

PTR-записьпрямая сверкаофициальные диапазоны

Отпечаток TLS, JA3

Скрипт на Python или Go здоровается с сервером иначе, чем настоящий Chrome. Расхождение отпечатка рукопожатия с заявленным браузером — прямой признак подмены.

JA3 и JA4набор шифровпорядок расширений

Поведение на сайте

Человек читает, кликает и загружает картинки. Бот берёт только HTML, идёт по каталогу подряд и держит ровный интервал между запросами — паттерн виден за минуту.

ритм запросовглубина обходастатика и cookie

ASN и тип сети

Запрос из дата-центра под видом мобильного пользователя — уже аномалия. Смотрим владельца сети, её тип и репутацию соседних адресов того же диапазона.

хостинг или домашняя сетьVPN и Torблокировка по ASN

Заголовки запроса

Порядок и состав заголовков у браузеров стабилен. Отсутствие Accept-Language, странный Accept-Encoding и пустой Referer в связке с тяжёлым обходом дают уверенный вердикт.

порядок заголовковHTTP/2 fingerprintнесогласованность с UA

Базы и репутация

Поверх признаков — списки известных адресов: 7,1 млн записей из РКН, Tor exit, публичных VPN, ботнетов и поддельных поисковиков. Обновляются ежедневно.

РКНTor exitSpamhaus и IPsumFirehol

Что делать с AI-краулерами

107 краулеров в справочнике собирают тексты для языковых моделей. Универсального ответа нет: издателю и интернет-магазину выгодны разные решения.

Пропускать

Ставка на видимость

Контент попадает в ответы ChatGPT, Perplexity и Gemini со ссылкой на источник. Для медиа, блогов и справочных проектов это новый канал переходов.

Кому подходит: издания, блоги, документация, B2B-контент

Ограничивать

Компромисс по умолчанию

Лимит частоты и доступ только к публичным разделам. Модели видят витрину и статьи, но не выгребают каталог, цены и пользовательский контент целиком.

Кому подходит: магазины, сервисы, площадки с каталогом

Блокировать

Полный запрет

Запрет по User-Agent и по сетям владельца модели. Имеет смысл, когда контент — основной актив и он уже уходит к конкурентам через агрегаторы.

Кому подходит: платный контент, базы, уникальные исследования

Запрет обучения через robots.txt

# обучение моделей — запрещаем
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Bytespider
Disallow: /

# поиск с цитированием — оставляем
User-agent: OAI-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /cart
Disallow: /account
robots.txt — это просьба, а не запрет. Крупные компании его соблюдают, десятки мелких скраперов представляются как AI-краулеры и не читают файл вовсе. Реальный запрет ставится на границе: правило по User-Agent, лимит частоты и блокировка сетей владельца модели.

О справочнике ботов TrafficVeil

Энциклопедия ботов TrafficVeil — открытый справочник User-Agent для более чем 600 известных краулеров, поисковых роботов, AI-агентов, мониторинговых клиентов и сервисных ботов, которые ежедневно обращаются к сайтам. Если вы администратор сайта, SEO-специалист, разработчик или специалист по информационной безопасности, каталог поможет быстро понять, кто обращается к вашему серверу, легитимен ли визит и стоит ли пропускать или блокировать трафик на уровне WAF, nginx или антибот-системы.

Каждая карточка содержит название бота, паттерн User-Agent для распознавания в access.log и правилах фильтрации, краткое описание на русском языке и метку: легитимный или нежелательный посетитель. Боты сгруппированы по десяти категориям (cluster): поисковые роботы — Googlebot, YandexBot, Bingbot; AI и LLM-краулеры — GPTBot, ClaudeBot, PerplexityBot; мониторинг доступности; RSS и фиды; превью ссылок в соцсетях; рекламные и AdTech-боты; SEO и backlink-краулеры; технические клиенты; веб-архивы; прочие сервисные агенты.

Справочник поддерживает полнотекстовый поиск по названию, описанию и паттерну UA, фильтрацию по категории cluster и разделение на легитимных и нежелательных посетителей. Данные синхронизированы с базой TrafficVeil Bot Detection и применяются в продакшене для ML-классификации трафика, rate limiting и WAF-правил.

Владельцы сайтов получают тысячи автоматических запросов в сутки. Часть полезна — индексация в поиске, проверка uptime, генерация Open Graph-превью. Часть перегружает сервер, парсит цены, скликивает рекламу или собирает контент конкурентами. Без понимания User-Agent сложно настроить robots.txt или антибот. Энциклопедия снимает неопределённость: находите бота по имени, читаете назначение и принимаете решение в панели TrafficVeil.

TrafficVeil — российская платформа защиты веб-трафика с детект ботов, L7-фильтрами, DNS, SSL и GeoIP. WAF входит со Starter. Тарифа на трафик нет: вы платите за домены и состав функций. Используйте каталог для аудита логов, настройки whitelist и blacklist, отчётов по бот-трафику и обучения команды. На бесплатном тарифе доступен стартовый контур защиты для 1 домена: проксирование, SSL, детект ботов и лимиты.

Узнайте, кто ходит по вашему сайту

Подключите домен и посмотрите живую ленту: какие боты приходят, что они забирают и сколько это стоит вашему серверу. Запросы ботов и атак в тариф не считаются.

Тарифа на трафик нет. Платите за людей, а не за тех, кого отбили: боты, атаки и всё, что срезали фильтры, в счёт не идут. Тариф — число доменов и глубина настроек.

Справочник открыт и бесплатен · база обновляется еженедельно · 1 домен на бесплатном тарифе
TrafficVeil