OdklBot: краулер превью Одноклассников — с официальным списком IP и родственником для платежей

OdklBot принадлежит Одноклассникам (OK.ru) — второй по популярности социальной сети в России после VK, которой она же, собственно, и принадлежит: обе платформы сегодня входят в холдинг VK. Сервис работает с 2006 года, у него свыше 200 миллионов зарегистрированных пользователей и около 45 миллионов ежедневных уникальных посетителей — то есть по масштабу это отнюдь не нишевая площадка, а один из крупнейших социальных сервисов в русскоязычном интернете.

Что делает бот и зачем он заходит на сторонние сайты

Задача OdklBot полностью аналогична facebookexternalhit у Facebook или ботам превью Slack и Reddit, уже разобранным в этой серии: когда пользователь Одноклассников публикует ссылку на внешний сайт в посте, сообщении или комментарии, сервису нужно быстро собрать данные для карточки предпросмотра — заголовок, описание, изображение или видео из Open Graph разметки страницы. Это точечный запрос по факту конкретного действия пользователя, а не системный обход всего сайта.

Параметры бота

Почему не стоит путать OdklBot с ботами VK или банить их одним правилом

Хотя Одноклассники и VK принадлежат одному холдингу, это разные продукты с разными ботами превью, разной инфраструктурой и разными IP-диапазонами. Огульная блокировка «всего похожего на VK/Mail.ru/OK» одним широким правилом — та же ошибка, что уже разбиралась для семейства ByteDance (TikTokSpider против Bytespider): можно случайно сломать карточки предпросмотра в одной социальной сети, пытаясь ограничить трафик от совершенно другого сервиса под похожим по звучанию именем оператора.

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов odklbot на подключённых доменах составил порядка 9 тысяч. Это ожидаемо для точечного fetch-бота: он не сканирует сайт целиком, а реагирует только на факт того, что кто-то поделился ссылкой на конкретную страницу сайта в Одноклассниках.

Как найти бота в логах и проверить подлинность

grep -i "OdklBot" /var/log/nginx/access.log

Для верификации — сверка IP запроса с официально опубликованным списком адресов на странице apiok.ru/dev/verification, а не полагание на одно лишь совпадение строки User-Agent, которую в принципе может подделать любой скрипт.

Стоит ли блокировать

• если сайт заинтересован в качественных карточках ссылок при обсуждении их в Одноклассниках (актуально для проектов с русскоязычной аудиторией старшего и среднего возраста, где ОК остаётся заметной платформой) — бота стоит явно разрешить и убедиться, что og-теги отдаются в исходном HTML;
• если аудитория Одноклассников для проекта не приоритетна — блокировка не несёт значимых потерь, кроме ухудшения вида ссылок, которые всё равно будут туда попадать;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это отдельная от поисковой индексации система превью.

Как настроить доступ

Явное разрешение, если карточки в ОК важны:

User-agent: OdklBot
Allow: /

Дополнительно к правилу в robots.txt — whitelist официальных IP-адресов на уровне WAF или файрвола, чтобы гарантированно не заблокировать легитимные запросы при более широких правилах защиты от ботов:

# Официальные диапазоны web grabber (сверяйте актуальность на apiok.ru/dev/verification)
185.16.150.104/30
185.16.150.172/30
185.16.150.212/30
185.16.150.202/31

Стандартный запрет с дублированием на уровне сервера, если превью в ОК не нужны:

User-agent: OdklBot
Disallow: /

if ($http_user_agent ~* "OdklBot") {
    return 403;
}