Данные позволяют ответить на практические вопросы: кто реально нагружает серверы, как быстро растёт трафик AI-ботов и насколько традиционные поисковые боты уступают позиции новым игрокам.
1. Общая картина за 3 месяца
| Месяц | Запросов | Рост к предыдущему | Уникальных ботов | Доменов |
|---|---|---|---|---|
| Март 2026 | 8 570 813 | — | 115 | 513 |
| Апрель 2026 | 26 738 021 | +212% | 136 | 674 |
| Май 2026 | 58 378 452 | +118% | 149 | 696 |
| Июнь 2026 (2 дня) | 2 733 965 | ~41M/мес. экстраполяция | 104 | 580 |
| Итого | 96 421 251 | ×6.8 за 3 месяца | 161* | — |
Самый важный вывод из таблицы: бот-трафик вырос в 6.8 раза за три месяца. Март к маю — это не сезонность. Это структурный сдвиг: экспансия AI-краулеров продолжается и ускоряется.
2. Топ-10 ботов: кто реально нагружает серверы
| # | Бот | Запросов | Доля | Категория |
|---|---|---|---|---|
| 1 | Meta ExternalAgent | 29 106 185 | 30.19% | AI / Социальные сети |
| 2 | ByteSpider | 9 134 267 | 9.47% | AI (Bytedance/TikTok) |
| 3 | PetalBot | 7 918 753 | 8.21% | Поиск (Huawei) |
| 4 | GPTBot | 7 623 916 | 7.91% | AI (OpenAI) |
| 5 | AmazonBot | 5 622 233 | 5.83% | AI (Amazon) |
| 6 | AppleBot | 4 904 890 | 5.09% | Поиск (Apple) |
| 7 | ClaudeBot | 3 939 552 | 4.09% | AI (Anthropic) |
| 8 | BingBot | 3 931 223 | 4.08% | Поиск (Microsoft) |
| 9 | SERankingBot | 3 816 134 | 3.96% | SEO-инструменты |
| 10 | GoogleBot | 2 653 584 | 2.75% | Поиск (Google) |
Главный сюрприз: Meta ExternalAgent — абсолютный лидер с 30% всего бот-трафика. Это не Googlebot и не GPTBot. Meta агрессивно собирает данные для обучения моделей и ранжирования в Facebook/Instagram. Одиночный бот одной компании генерирует почти треть всего бот-трафика — больше, чем Google, Bing и Яндекс вместе взятые.
3. Ключевой инсайт: AI-боты vs поисковые боты
Если разделить весь трафик по категориям, картина становится ещё красноречивее:
| Категория | Боты | Запросов | Доля |
|---|---|---|---|
| AI / LLM краулеры | Meta ExternalAgent, ByteSpider, GPTBot, AmazonBot, ClaudeBot, TikTokBot и др. | ~55 000 000 | ~57% |
| Традиционный поиск | GoogleBot, BingBot, YandexBot, PetalBot, BaiduBot, DuckDuckGo и др. | ~22 000 000 | ~23% |
| SEO-инструменты | SERankingBot, SemrushBot, AhrefsBot, SerpstatBot, DataForSeoBot и др. | ~12 000 000 | ~12% |
| Прочие | Мониторинг, архивы, верификация и др. | ~7 000 000 | ~8% |
AI-боты уже генерируют больше трафика, чем все поисковые боты вместе взятые. Это переломный момент: большинство запросов к вашему серверу от «ботов» сегодня — это не Google и не Яндекс, а AI-системы, собирающие обучающие данные.
4. Позиция GoogleBot: неожиданно скромная
GoogleBot занял только 10-е место с долей 2.75% — меньше, чем Meta External Agent в 11 раз. Это не значит, что Google стал меньше индексировать. Это значит, что остальные боты стали индексировать несопоставимо больше.
Для сравнения: в типичных логах 2020–2022 годов GoogleBot уверенно лидировал с долей 30–40%. За четыре года он «сдвинулся» на десятое место — не потому что замедлился, а потому что рядом появились игроки с другими масштабами и целями.
| Поисковый бот | Запросов | Доля от всего трафика | Место в общем рейтинге |
|---|---|---|---|
| GoogleBot | 2 653 584 | 2.75% | #10 |
| BingBot | 3 931 223 | 4.08% | #8 |
| YandexBot | 2 126 141 | 2.21% | #12 |
| PetalBot (Huawei) | 7 918 753 | 8.21% | #3 |
| BaiduBot | 194 467 | 0.20% | #29 |
Интересный факт: BingBot (4.08%) обогнал GoogleBot (2.75%). Это объясняется активным развитием Bing AI и Copilot — Microsoft наращивает индексацию для конкуренции с Google в AI-поиске.
Ещё один сюрприз: PetalBot от Huawei (#3, 8.21%) — китайский бот для поиска AppGallery и HMS — обходит GoogleBot почти в три раза по абсолютному числу запросов. На многих сайтах это будет полной неожиданностью.
5. Яндекс-боты в данных
В таблице зафиксировано несколько Яндекс-агентов. Суммарно:
| Яндекс-бот | Запросов (всего) | Место в общем рейтинге |
|---|---|---|
| YandexBot | 2 126 141 | #12 |
| YandexImages | 287 080 | #27 |
| YandexMobileBot | 101 070 | #38 |
| YandexMetrika | 20 273 | #50 |
| YandexRenderResourcesBot | 16 727 | #53 |
| YandexDirectFetcher | 15 806 | #54 |
| YandexFavicons | 14 981 | #57 |
| YandexAccessibilityBot | 6 078 | #70 |
| Итого Яндекс | ~2 588 156 | ~2.68% от всего трафика |
Суммарно все Яндекс-боты генерируют примерно столько же трафика, сколько один GoogleBot. Для сайтов с русскоязычной аудиторией это ожидаемо — и эти запросы важны для видимости в Яндексе.
6. Динамика: как менялись доли топ-ботов по месяцам
| Бот | Март | Апрель | Май | Тренд |
|---|---|---|---|---|
| Meta ExternalAgent | 25.71% | 28.59% | 31.42% | 📈 Растёт |
| ByteSpider | 5.88% | 9.10% | 10.03% | 📈 Резкий рост |
| PetalBot | 9.79% | 5.59% | 8.93% | 〰 Нестабильно |
| GPTBot | 6.39% | 10.39% | 7.16% | 〰 Нестабильно |
| ClaudeBot | 6.77% | 5.31% | 3.12% | 📉 Снижение доли |
| AppleBot | 8.90% | 5.71% | 4.25% | 📉 Снижение доли |
| BingBot | 2.80% | 3.45% | 4.59% | 📈 Устойчивый рост |
| GoogleBot | 4.19% | 2.54% | 2.65% | 📉 Относительное снижение |
| YandexBot | 3.88% | 2.46% | 1.87% | 📉 Снижение доли |
| SemrushBot | 0.60% | 0.90% | 1.84% | 📈 Резкий рост |
Снижение доли GoogleBot, YandexBot и ClaudeBot — это не снижение абсолютного числа запросов, а снижение доли на фоне общего роста трафика, который разгоняется Meta ExternalAgent и ByteSpider. В абсолютных числах GoogleBot в мае был в 4.3 раза активнее, чем в марте.
7. SEO-инструменты: невидимая нагрузка
Отдельного внимания заслуживает группа SEO-краулеров. Многие владельцы сайтов не осознают, какой объём трафика они создают:
| SEO-бот | Запросов | Доля |
|---|---|---|
| SERankingBot | 3 816 134 | 3.96% |
| SemrushBot | 1 412 930 | 1.47% |
| SerpstatBot | 1 039 585 | 1.08% |
| DataForSeoBot | 971 311 | 1.01% |
| Siteexplorer | 986 452 | 1.02% |
| MJ12Bot (Majestic) | 687 893 | 0.71% |
| AhrefsBot | 366 272 | 0.38% |
| Итого SEO-боты | ~9 280 577 | ~9.6% |
SEO-инструменты суммарно — почти 10% всего бот-трафика. Примечательно, что SERankingBot (#9, 3.96%) обогнал GoogleBot (#10, 2.75%). Это означает, что ваш SEO-инструмент создаёт больше нагрузки на серверы, чем основной поисковый бот Google.
8. Прочие заметные боты
| Бот | Запросов | Почему интересен |
|---|---|---|
| OpenAI SearchBot | 390 908 | Отдельный бот для SearchGPT — дополняет GPTBot |
| ChatGPT-User | 102 827 | Запросы при просмотре ссылок в чате ChatGPT |
| FacebookBot | 180 045 | Превью ссылок в Facebook — не путать с Meta ExternalAgent |
| VKBot | 34 838 | Краулер ВКонтакте — актуален для русскоязычных сайтов |
| TikTokBot | 2 281 143 | 11-е место — TikTok активно собирает данные |
| AwarioBot | 655 775 | Инструмент мониторинга упоминаний бренда |
| UptimeRobot | 147 416 | Популярный сервис мониторинга доступности |
| DuckDuckGo-Favicons-Bot | 119 012 | Только иконки — не влияет на индексацию DuckDuckGo |
| Archive.org_bot + ArchiveBot + Arquivo | ~122 420 | Архивные краулеры — полезны, нагрузка небольшая |
| DeepSeekBot | 3 351 | Новый AI-краулер из Китая — пока малоактивен, но появился |
9. YandexRenderResourcesBot — что это и почему он в списке
В данных зафиксированы 16 727 запросов от YandexRenderResourcesBot (#53 в общем рейтинге). Это специализированный бот Яндекса для загрузки ресурсов при JS-рендеринге страниц: CSS, JavaScript-файлы, шрифты, изображения. Он работает в паре с основным YandexBot — когда YandexBot обнаруживает JavaScript-тяжёлую страницу, RenderResourcesBot запрашивает все зависимые ресурсы для полноценного рендеринга.
Его присутствие в логах — хороший знак: Яндекс рендерит ваш JS-контент и видит страницу так, как её видят пользователи.
User-Agent:
Mozilla/5.0 (compatible; YandexRenderResourcesBot/1.0; +http://yandex.com/bots)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0Характерная особенность в логах: RenderResourcesBot запрашивает не HTML-страницы, а статические ресурсы — .css, .js, .woff2, .png — часто с Referer, указывающим на страницу, которую обходит основной YandexBot:
grep -i 'YandexRenderResourcesBot' access.log \
| awk '{print $7}' | grep -oE '\.[a-z0-9]+$' \
| sort | uniq -c | sort -nr
# Ожидаемый вывод: .js, .css, .woff2, .png, .webp — чаще всего10. Практические выводы для владельцев сайтов
10.1 Пересмотрите приоритеты в robots.txt
Если ваш robots.txt написан в парадигме «разрешим Googlebot, ограничим остальных» — он устарел. Сегодня Google генерирует менее 3% бот-трафика. Первоочередные кандидаты на управление:
# Блокировка агрессивных AI-краулеров (если не хотите отдавать данные):
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: AmazonBot
Disallow: /
User-agent: TikTokBot
Disallow: /
# Оставить открытыми поисковые боты:
User-agent: Googlebot
Allow: /
User-agent: YandexBot
Allow: /
User-agent: bingbot
Allow: /10.2 Meta ExternalAgent требует отдельного решения
30% всего бот-трафика от одного агента — это значимая нагрузка на сервер и CDN. Если вы не используете Meta для продвижения и не хотите, чтобы контент попадал в обучающие данные Meta AI, — блокировка обоснована:
User-agent: Meta-ExternalAgent
Disallow: /
# В Nginx — дополнительно по User-Agent:
map $http_user_agent $is_meta_agent {
default 0;
"~*Meta-ExternalAgent" 1;
"~*meta-externalagent" 1;
}
if ($is_meta_agent) { return 403; }10.3 SERankingBot обгоняет Googlebot — проверьте настройки SEO-инструментов
Если вы используете SEO-платформы (SE Ranking, Semrush, Ahrefs), убедитесь что их краулеры не перегружают ваши серверы. Многие из них позволяют настроить частоту обхода в личном кабинете инструмента.
10.4 Рост в 6.8 раза за 3 месяца — спланируйте масштабирование
Если в марте сервер легко справлялся с ботовой нагрузкой, это не гарантия на июль. При сохранении текущего темпа роста к сентябрю 2026 месячный объём может превысить 200 миллионов запросов. Убедитесь что кеш статических ресурсов настроен, а CDN принимает на себя бот-трафик до origin-сервера.
10.5 Фильтруйте ботов в аналитике
Если аналитика не фильтрует бот-трафик — ваши метрики искажены. В данных присутствует 161 уникальный бот. Даже если каждый из них отправляет только заголовки (HEAD-запросы), не выполняя JS, часть из них может попадать в счётчики посещаемости.
11. Полный топ-53 ботов (все с долей ≥ 0.02%)
| # | Бот | Запросов | % |
|---|---|---|---|
| 1 | Meta ExternalAgent | 29 106 185 | 30.19% |
| 2 | ByteSpider | 9 134 267 | 9.47% |
| 3 | PetalBot | 7 918 753 | 8.21% |
| 4 | GPTBot | 7 623 916 | 7.91% |
| 5 | AmazonBot | 5 622 233 | 5.83% |
| 6 | AppleBot | 4 904 890 | 5.09% |
| 7 | ClaudeBot | 3 939 552 | 4.09% |
| 8 | BingBot | 3 931 223 | 4.08% |
| 9 | SERankingBot | 3 816 134 | 3.96% |
| 10 | GoogleBot | 2 653 584 | 2.75% |
| 11 | TikTokBot | 2 281 143 | 2.37% |
| 12 | YandexBot | 2 126 141 | 2.21% |
| 13 | Barkrowler | 1 552 394 | 1.61% |
| 14 | SemrushBot | 1 412 930 | 1.47% |
| 15 | SerpstatBot | 1 039 585 | 1.08% |
| 16 | Siteexplorer | 986 452 | 1.02% |
| 17 | DataForSeoBot | 971 311 | 1.01% |
| 18 | Crawler | 703 809 | 0.73% |
| 19 | Meta WebIndexer | 695 857 | 0.72% |
| 20 | MJ12Bot | 687 893 | 0.71% |
| 21 | AwarioBot | 655 775 | 0.68% |
| 22 | WebScraperBot | 493 173 | 0.51% |
| 23 | OpenAI SearchBot | 390 908 | 0.41% |
| 24 | AhrefsBot | 366 272 | 0.38% |
| 25 | TimpiBot | 340 311 | 0.35% |
| 26 | Bot | 307 604 | 0.32% |
| 27 | YandexImages | 287 080 | 0.30% |
| 28 | Sogou | 270 839 | 0.28% |
| 29 | BaiduBot | 194 467 | 0.20% |
| 30 | FacebookBot | 180 045 | 0.19% |
| 31 | KeysSoBot | 149 985 | 0.16% |
| 32 | UptimeRobot | 147 416 | 0.15% |
| 33 | Robot | 141 266 | 0.15% |
| 34 | Yisouspider | 132 398 | 0.14% |
| 35 | DuckDuckGo-Favicons-Bot | 119 012 | 0.12% |
| 36 | Arquivo-web-crawler | 111 170 | 0.12% |
| 37 | ChatGPT-User | 102 827 | 0.11% |
| 38 | YandexMobileBot | 101 070 | 0.10% |
| 39 | Amazon SearchBot | 84 293 | 0.09% |
| 40 | TrendictionBot | 77 740 | 0.08% |
| 41 | SeekportBot | 66 023 | 0.07% |
| 42 | HetrixTools | 54 993 | 0.06% |
| 43 | AliyunBot | 47 111 | 0.05% |
| 44 | SemanticVisionsBot | 37 827 | 0.04% |
| 45 | VKBot | 34 838 | 0.04% |
| 46 | Webcrawler | 29 759 | 0.03% |
| 47 | Go Client | 27 663 | 0.03% |
| 48 | Mediatoolkitbot | 23 749 | 0.02% |
| 49 | Google AdsBot | 21 177 | 0.02% |
| 50 | YandexMetrika | 20 273 | 0.02% |
| 51 | AdsTxtCrawler | 19 241 | 0.02% |
| 52 | StatuserBot | 18 347 | 0.02% |
| 53 | YandexRenderResourcesBot | 16 727 | 0.02% |
12. Методология и источник данных
- Источник: таблица
pbnshield.domain_bot_daily_stats(ClickHouse) - Период: 2026-03-03 — 2026-06-02 (91 день)
- Охват: 696 доменов, 161 уникальный бот, 96 421 251 запрос
- Методология: боты определяются по User-Agent строкам и верифицируются через DNS reverse lookup
- Июнь 2026: данные неполные — только первые 2 дня месяца
- Примечание: «Прочие» — 61 бот с суммарной долей менее 0.01% каждый
Данные обновлены: 2 июня 2026 года (backfill).
