Энциклопедия ботов
Открытый справочник User-Agent: кто обращается к вашему серверу, легитимен ли визит и что с ним делать на уровне WAF, nginx или антибот-системы. Данные синхронизированы с базой TrafficVeil Bot Detection.
Показано 289–312 из 618 ботов · по алфавиту
kagi-fetcher
НежелательныйСканер Kagi загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.
UA: kagi-fetcherKargoBot
НежелательныйСканер Kargo загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.
UA: kargobotKeys-so Bot
НежелательныйСканер Keys-so загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.
UA: keys-so-botKeyword Density AI
ЛегитимныйАвтоматизированный клиент «Keyword Density AI»: обращается к URL без участия человека из браузера.
UA: keyword density aiKlaviyoAIBot
НежелательныйAI-индексатор KlaviyoAI: обходит страницы для актуализации ответов чат-бота или RAG-поиска. Идентифицируется в User-Agent и становится предметом bot-management.
UA: klaviyoaibotKonturBot
НежелательныйПрограммный агент Kontur запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.
UA: konturbotKStandBot
НежелательныйПрограммный агент KStand запрашивает URL по расписанию или из очереди задач. Классифицирован как нежелательный для владельца контента. В логах прокси отражает bot-трафик, а не посещение человека из браузера.
UA: kstandbotLAION-huggingface-processor
НежелательныйAI-индексатор LAION-huggingface-processor: обходит страницы для актуализации ответов чат-бота или RAG-поиска. Идентифицируется в User-Agent и становится предметом bot-management.
UA: laion-huggingface-processorLeakIX Scanner
ЛегитимныйСканер LeakIX для обнаружения утечек данных и misconfiguration в интернете. Исследовательский/security-сканер, проверяющий открытые сервисы.
UA: leakixLeakIX Scanner
ЛегитимныйСканер LeakIX для обнаружения утечек данных и misconfiguration в интернете. Исследовательский/security-сканер, проверяющий открытые сервисы.
UA: l9scanLeikibot
НежелательныйСканер Leikibot загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.
UA: leikibotLighthouseBot
НежелательныйАвтоматизированный краулер Lighthouse: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «LighthouseBot».
UA: lighthousebotLightspeedSystemsCrawler
НежелательныйАвтоматизированный краулер LightspeedSystems: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «LightspeedSystemsCrawler».
UA: lightspeedsystemscrawlerLiner Bot
НежелательныйСканер Liner загружает веб-страницы для анализа контента, ссылок или технических параметров. Классифицирован как нежелательный для владельца контента. Нагрузка на origin зависит от частоты и глубины обхода.
UA: liner-botLinkedInBot
ЛегитимныйКраулер LinkedIn (Microsoft) для индексации профилей, статей и превью ссылок в ленте. Используется для карточек постов и поиска по платформе.
UA: linkedinbotLinkfluence
НежелательныйСервис Linkfluence для unfurl-ссылок: загружает страницу, чтобы показать превью с заголовком и картинкой. Один запрос при публикации URL в чате или соцсети.
UA: linkfluenceLinkTiger
ЛегитимныйLink preview-бот LinkTiger читает Open Graph и meta-теги для карточки ссылки. Не индексирует сайт целиком, а точечно запрашивает переданный URL.
UA: linktigerLinkupBot
НежелательныйКомпонент Linkup для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов.
UA: linkupbotLinkWalker
НежелательныйLink preview-бот LinkWalker читает Open Graph и meta-теги для карточки ссылки. Не индексирует сайт целиком, а точечно запрашивает переданный URL.
UA: linkwalkerLLMs.txt Crawler
НежелательныйКраулер llms.txt / llmstxtscan.org для сбора файлов llms.txt с сайтов. Помогает AI-системам находить политики использования контента владельцами.
UA: llmstxtscanLMArenaUnfurlBot
ЛегитимныйКомпонент LMArenaUnfurl для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов.
UA: lmarenaunfurlbotlogicmonitor
ЛегитимныйUptime-монитор LogicMonitor опрашивает сайт по расписанию с внешних точек присутствия. Запросы не являются визитами пользователей, а отражают SLA-контроль.
UA: logicmonitorLoomlyBot
НежелательныйАвтоматизированный краулер Loomly: обходит страницы для сбора данных, индекса или мониторинга. Классифицирован как нежелательный для владельца контента. Конкретная цель зависит от оператора, использующего идентификатор «LoomlyBot».
UA: loomlybotMagpieRSS
ЛегитимныйRSS/Atom-агрегатор MagpieRSS: периодически опрашивает feed URL и загружает новые статьи для подписчиков. Трафик пропорционален числу читателей ленты.
UA: magpierssКак мы определяем ботов
User-Agent — только повод присмотреться: подделать строку может кто угодно. Решение принимается по совокупности признаков, и каждый из них проверяется отдельно.
Обратный DNS
Главная проверка для поисковиков: адрес разворачивается в имя, имя — обратно в адрес. Подделка под Googlebot и YandexBot отсекается именно здесь, а не по строке User-Agent.
Отпечаток TLS, JA3
Скрипт на Python или Go здоровается с сервером иначе, чем настоящий Chrome. Расхождение отпечатка рукопожатия с заявленным браузером — прямой признак подмены.
Поведение на сайте
Человек читает, кликает и загружает картинки. Бот берёт только HTML, идёт по каталогу подряд и держит ровный интервал между запросами — паттерн виден за минуту.
ASN и тип сети
Запрос из дата-центра под видом мобильного пользователя — уже аномалия. Смотрим владельца сети, её тип и репутацию соседних адресов того же диапазона.
Заголовки запроса
Порядок и состав заголовков у браузеров стабилен. Отсутствие Accept-Language, странный Accept-Encoding и пустой Referer в связке с тяжёлым обходом дают уверенный вердикт.
Базы и репутация
Поверх признаков — списки известных адресов: 7,1 млн записей из РКН, Tor exit, публичных VPN, ботнетов и поддельных поисковиков. Обновляются ежедневно.
Что делать с AI-краулерами
107 краулеров в справочнике собирают тексты для языковых моделей. Универсального ответа нет: издателю и интернет-магазину выгодны разные решения.
Ставка на видимость
Контент попадает в ответы ChatGPT, Perplexity и Gemini со ссылкой на источник. Для медиа, блогов и справочных проектов это новый канал переходов.
Кому подходит: издания, блоги, документация, B2B-контент
Компромисс по умолчанию
Лимит частоты и доступ только к публичным разделам. Модели видят витрину и статьи, но не выгребают каталог, цены и пользовательский контент целиком.
Кому подходит: магазины, сервисы, площадки с каталогом
Полный запрет
Запрет по User-Agent и по сетям владельца модели. Имеет смысл, когда контент — основной актив и он уже уходит к конкурентам через агрегаторы.
Кому подходит: платный контент, базы, уникальные исследования
Запрет обучения через robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Bytespider
Disallow: /
# поиск с цитированием — оставляем
User-agent: OAI-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /cart
Disallow: /account
О справочнике ботов TrafficVeil
Энциклопедия ботов TrafficVeil — открытый справочник User-Agent для более чем 600 известных краулеров, поисковых роботов, AI-агентов, мониторинговых клиентов и сервисных ботов, которые ежедневно обращаются к сайтам. Если вы администратор сайта, SEO-специалист, разработчик или специалист по информационной безопасности, каталог поможет быстро понять, кто обращается к вашему серверу, легитимен ли визит и стоит ли пропускать или блокировать трафик на уровне WAF, nginx или антибот-системы.
Каждая карточка содержит название бота, паттерн User-Agent для распознавания в access.log и правилах фильтрации, краткое описание на русском языке и метку: легитимный или нежелательный посетитель. Боты сгруппированы по десяти категориям (cluster): поисковые роботы — Googlebot, YandexBot, Bingbot; AI и LLM-краулеры — GPTBot, ClaudeBot, PerplexityBot; мониторинг доступности; RSS и фиды; превью ссылок в соцсетях; рекламные и AdTech-боты; SEO и backlink-краулеры; технические клиенты; веб-архивы; прочие сервисные агенты.
Справочник поддерживает полнотекстовый поиск по названию, описанию и паттерну UA, фильтрацию по категории cluster и разделение на легитимных и нежелательных посетителей. Данные синхронизированы с базой TrafficVeil Bot Detection и применяются в продакшене для ML-классификации трафика, rate limiting и WAF-правил.
Владельцы сайтов получают тысячи автоматических запросов в сутки. Часть полезна — индексация в поиске, проверка uptime, генерация Open Graph-превью. Часть перегружает сервер, парсит цены, скликивает рекламу или собирает контент конкурентами. Без понимания User-Agent сложно настроить robots.txt или антибот. Энциклопедия снимает неопределённость: находите бота по имени, читаете назначение и принимаете решение в панели TrafficVeil.
TrafficVeil — российская платформа защиты веб-трафика с детект ботов, L7-фильтрами, DNS, SSL и GeoIP. WAF входит со Starter. Тарифа на трафик нет: вы платите за домены и состав функций. Используйте каталог для аудита логов, настройки whitelist и blacklist, отчётов по бот-трафику и обучения команды. На бесплатном тарифе доступен стартовый контур защиты для 1 домена: проксирование, SSL, детект ботов и лимиты.
Узнайте, кто ходит по вашему сайту
Подключите домен и посмотрите живую ленту: какие боты приходят, что они забирают и сколько это стоит вашему серверу. Запросы ботов и атак в тариф не считаются.
Тарифа на трафик нет. Платите за людей, а не за тех, кого отбили: боты, атаки и всё, что срезали фильтры, в счёт не идут. Тариф — число доменов и глубина настроек.