В категории «VK Robot» на практике чаще всего имеется в виду vkShare — fetcher ВКонтакте, который подтягивает страницу при шеринге ссылки, чтобы собрать title/description/image для превью-карточки. Это не поисковый индекс и не Googlebot: блокировка ломает красивые превью в VK, на выдачу Google/Yandex не влияет.
vkShare
| Параметр | Значение |
|---|---|
| UA | Mozilla/5.0 (compatible; vkShare; +http://vk.com/dev/Share) (встречается и https) |
| Оператор | VK |
| Назначение | Превью ссылок при шаринге |
| Паттерн | Точечные хиты после шера, не полный site crawl |
| Docs | vk.com/dev/Share |
| IP-лист | ❌ Нет компактного публичного feed |
Паттерн энциклопедии «vkrobot» может цеплять и другие строки с VK — перед баном смотрите полный UA.
Общая логика fetcher-ботов для превью
vkShare — часть широкого класса ботов, которые называют fetcher’ами: они не индексируют сайт заранее, а срабатывают разово в момент, когда живой человек вставляет ссылку в пост, сообщение или чат. Похожая логика у facebookexternalhit для Facebook/Instagram, у ботов превью в Telegram, WhatsApp, Discord — все они делают один точечный запрос ровно к той странице, которой поделились, забирают Open Graph метаданные и уходят. Отсюда практический вывод про всплески трафика: если вы видите резкий скачок хитов от vkShare, это почти всегда означает вирусный охват конкретной публикации — большое число людей одновременно делятся вашей ссылкой, — а не атаку или сбой. В такой ситуации разумнее временно ограничить частоту (rate-limit), а не банить бота полностью: полный запрет в момент вирусного роста охвата означает, что новые репосты будут показывать сломанную или устаревшую превью-карточку именно тогда, когда видимость особенно важна.
Нагрузка
По сводке TrafficVeil — порядка 42 тысяч запросов (март 0, далее рост). Объём напрямую зависит от активности шеров в VK, а не от расписания SEO-краулера — не ищите здесь регулярность, характерную для индексирующих ботов.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Логи / robots / сервер
grep -iE "vkShare|vk\.com/dev/Share" /var/log/nginx/access.logUser-agent: vkShare
Disallow: /
# Обычно НЕ нужно, если важны шеры в VK- Нужны превью в VK — Allow, убедитесь, что на страницах корректно настроены Open Graph теги (og:title, og:description, og:image) — без них vkShare заберёт страницу, но превью получится пустым или неинформативным
- Не хотите светиться в VK — Disallow/403 осознанно
- При всплесках — rate-limit, не полный бан, особенно если всплеск совпадает с ростом реального охвата публикации
- Соблюдение robots.txt неоднозначно — для гарантии политика на сервере, а не только файл
Стратегия
| Цель | Действие |
|---|---|
| Превью в VK | Allow vkShare + корректный OG |
| Без шеров | Disallow + deny |
| Спуф | Нет официального IP-доказательства; смотрите паттерн «хит после шера», а не расписание |
Частые вопросы
Индексирует ли vkShare сайт целиком, как поисковый краулер?
О чём говорит резкий всплеск хитов от vkShare?
Почему при всплеске трафика лучше не банить vkShare полностью?
Что нужно для корректной превью-карточки в VK?
Есть ли у vkShare другие боты с похожей логикой на других платформах?
Гарантированно ли соблюдение robots.txt у vkShare?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.