
В публичном снимке TrafficVeil на 19 ноября 2026 года за период 25 мая — 18 ноября собрано 1 366 065 612 HTTP-записей. К бот-трафику отнесено 413 927 494, или 30,30%. Это наблюдения нашей инфраструктуры, а не оценка всего интернета, уникальных посетителей или загрузки CPU.
19 ноября 2026 года прежнее исследование с несогласованными окнами и невоспроизводимыми таблицами заменено разбором опубликованного снимка. Старый адрес страницы сохранён. Прежние выводы о CPU, расходах и старые численные сравнения отозваны. Эта версия использует только показатели, которые можно повторно посчитать по доступному файлу.
Данные, период и единица счёта
Источник — неизменяемый JSON-снимок от 19.11.2026, сформированный 2026-11-19T13:48:10Z. Его период: 2026-05-25 — 2026-11-18. Обновляемая версия находится в радаре ботов; её будущие итоги могут отличаться от этого сохранённого среза.
В счётчиках учитываются HTTP-записи. В старой истории одно обращение могло учитываться несколько раз. Поэтому название поля requests в JSON нельзя читать как гарантированное число уникальных запросов или пользователей.
Охват — домены с наблюдениями в инфраструктуре TrafficVeil. Снимок не доказывает используемую CMS и не объявляет все домены WordPress-сайтами. Из него нельзя определить число клиентов, посещаемость отрасли или долю ботов у каждого сайта.
Основные показатели среза
| Показатель | Значение | Как читать |
|---|---|---|
| Все HTTP-записи | 1 366 065 612 | Общий знаменатель снимка |
| Записи, отнесённые к ботам | 413 927 494 | Включая полезных и неопознанных автоматических клиентов |
| Доля бот-записей | 30,30% | botRequests / requests × 100 |
| Строки каталога | 1 002 | Имена и общие группы; не число подтверждённых операторов |
Оставшиеся 69,70% нельзя объявлять долей людей: туда могут входить нераспознанная автоматизация и записи без достаточных признаков.
Десять крупнейших имён по HTTP-записям
Знаменатель третьей колонки — все записи, отнесённые к ботам (413 927 494); четвёртой — все HTTP-записи (1 366 065 612). Доли округлены до двух знаков, поэтому сумма отображаемых процентов может отличаться от расчёта по целым значениям.
| Имя в классификации | HTTP-записей | Доля бот-записей | Доля всех записей |
|---|---|---|---|
| Meta ExternalAgent | 153 171 984 | 37,00% | 11,21% |
| GPTBot | 29 266 081 | 7,07% | 2,14% |
| PetalBot | 23 310 043 | 5,63% | 1,71% |
| ByteSpider | 22 274 571 | 5,38% | 1,63% |
| GoogleBot | 16 948 532 | 4,09% | 1,24% |
| ClaudeBot | 16 651 876 | 4,02% | 1,22% |
| BingBot | 15 266 031 | 3,69% | 1,12% |
| AmazonBot | 13 234 289 | 3,20% | 0,97% |
| AhrefsBot | 10 851 092 | 2,62% | 0,79% |
| SemrushBot | 9 556 638 | 2,31% | 0,70% |
На первую десятку приходится 75,02% бот-записей этого среза. Большая доля заявленного имени показывает концентрацию наблюдений, но не доказывает принадлежность всех запросов оператору: User-Agent подделывается.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Как повторить расчёт
- Скачайте сохранённый JSON по ссылке выше и проверьте его период.
- Долю считайте как
totals.botRequests / totals.requests * 100. - Для таблицы возьмите строки
botsс численнымcountи отсортируйте по убыванию. - Долю строки в бот-трафике считайте как
count / totals.botRequests * 100; долю всех записей — какcount / totals.requests * 100. - Не заменяйте отсутствующий
countнулём: отсутствие достоверного отдельного итога не означает отсутствия бота.
Проверка при подготовке этой редакции: сумма численных bots[].count равна totals.botRequests; вычисленная общая доля совпадает с опубликованной с точностью её округления. Имена, общие группы и строки без отдельного счётчика нельзя выдавать за равнозначные подтверждённые семейства.
Ограничения методики
- Классификация использует признаки автоматизации и заявленный User-Agent. Снимок не подтверждает IP-владельца каждого запроса.
- Проверенная история объединяется с последующими полными днями без наложения периодов. Детали старого учёта ограничивают сравнение с другими системами.
- Общая группа Bot уточняется по сохранённому User-Agent только при точном совпадении дневных итогов. Несогласованный или неидентифицируемый остаток сохраняется как неопознанные боты.
- График
dailyохватывает последние 30 завершённых суток UTC, а общие итоги — весь указанный период. Их нельзя сравнивать как один и тот же временной знаменатель. - Данные не содержат CPU-профилирования, исходящих байтов и длительностей ответов. По ним нельзя вычислить экономию процессора, стоимость хостинга или причинный эффект защиты.
- Поисковые и служебные роботы входят в бот-трафик. Наличие в рейтинге не означает вредоносность и не является рекомендацией блокировать.
Что делать владельцу сайта
Используйте общий рейтинг как список кандидатов для собственного анализа. На своём домене сопоставьте источники, пути, частоту, ошибки и потребности бизнеса. Полезных поисковых роботов и интеграции проверяйте отдельно. Для оценки ресурсов нужны серверные метрики и сравнимые периоды, а для финансового эффекта — прозрачный расчёт затрат.
Справочник ботов помогает уточнить назначение агентов; документация — выбрать доступные настройки. Публичный агрегат не заменяет проверку совместимости и ложных блокировок на конкретном сайте.
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.