Bitlybot: зачем краулер Bitly забирает превью страниц и когда его стоит разрешить

Bitly сокращает порядка 600 миллионов ссылок в месяц, и за каждой такой ссылкой рано или поздно приходит bitlybot — служебный краулер компании, который проверяет, куда на самом деле ведёт короткая ссылка, и забирает данные для превью. Если этот UA всплывает в логах, это почти всегда означает одно: кто-то создал bit.ly-ссылку на страницу вашего сайта, а не то, что сайт попал под случайный массовый скан.

Что именно делает бот

У bitlybot несколько задач, объединённых одной логикой — поддерживать качество и безопасность ссылок в экосистеме Bitly:

• Проверка работоспособности ссылки — бот убеждается, что целевой URL действительно отвечает, а не ведёт на битую страницу или бесконечный редирект;
• Сбор метаданных для превью — заголовок, описание и изображение страницы, которые затем показываются пользователю при переходе или предпросмотре короткой ссылки;
• Проверка на вредоносность — сервис старается не пропускать через свою инфраструку короткие ссылки, ведущие на фишинговые или опасные страницы;
• Поддержка аналитики — данные о состоянии целевой страницы используются в отчётах о переходах, которые Bitly показывает владельцу ссылки.

Принципиальное отличие от массовых краулеров: bitlybot не пытается системно обойти весь сайт, найти внутренние ссылки и проиндексировать каталог. Он идёт строго по конкретному URL, на который указывает конкретная короткая ссылка, — и повторяет визит по этому же адресу при создании новой bit.ly-ссылки на ту же страницу, при заметном всплеске переходов по существующей ссылке или в рамках плановых проверок активности.

Параметры бота

Сколько трафика он создаёт

По сводке TrafficVeil, суммарная нагрузка от bitlybot на подключённых доменах — порядка 400 запросов за отчётный период, что для сервиса такого масштаба закономерно: раз обход точечный и привязан к факту создания или использования конкретной короткой ссылки, а не к плановому сканированию всего каталога, объём остаётся небольшим даже при огромном количестве ссылок, которые Bitly обрабатывает ежемесячно во всей своей клиентской базе.

Стоит ли блокировать

Здесь решение прямо завязано на то, пользуетесь ли вы сервисом Bitly:

• если ссылки на страницы сайта сокращают через bit.ly — сами или партнёры, которые продвигают ваш контент в соцсетях и рассылках — блокировка ухудшит качество превью: вместо корректного заголовка и картинки страницы пользователь увидит обрезанные или отсутствующие данные;
• если сервисом никто не пользуется, а бот всё равно появляется в логах — скорее всего, кто-то сторонний сократил ссылку на вашу страницу без вашего ведома (например, в спам-рассылке или соцсетях); в этом случае блокировка ничего не портит и не за что переживать;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие бота не влияет никак — это отдельная от поисковой индексации история.

Как найти бота в логах

grep -i "bitlybot\|Bitly" /var/log/nginx/access.log

Как настроить доступ

Если Bitly используется для продвижения сайта, есть смысл не просто разрешить бота, а убедиться, что у ключевых страниц корректно заполнены Open Graph теги — иначе превью в мессенджерах и соцсетях получится пустым или неинформативным даже при полном доступе бота:

<meta property="og:title" content="Заголовок страницы" />
<meta property="og:description" content="Краткое описание страницы" />
<meta property="og:image" content="https://example.com/preview.jpg" />

Явное разрешение в robots.txt:

User-agent: bitlybot
Allow: /

Если превью через Bitly не нужны и присутствие бота нежелательно — блокировка на уровне robots.txt и её дублирование на сервере:

User-agent: bitlybot
Disallow: /

if ($http_user_agent ~* "bitlybot") {
    return 403;
}

Поскольку устойчивого официального списка IP-адресов Bitly не публикует, а строку User-Agent в теории можно подделать, для проверки подлинности в спорных случаях стоит смотреть на связку UA с типичным поведением — единичный точечный запрос к конкретной странице, без глубокого обхода внутренних ссылок сайта.