BufferLinkPreviewBot в логах: превью для соцсетей, не угроза

Если отфильтровать access.log по bufferlinkpreviewbot, часто всплывает целый пласт машинных хитов на конкретных URL — это бот Buffer, известной платформы для планирования постов в соцсетях (существует с 2010 года). Бот загружает страницу, когда кто-то из пользователей Buffer вставляет вашу ссылку в композер поста, чтобы редактор увидел карточку предпросмотра до публикации.

1. Что такое BufferLinkPreviewBot

У Buffer есть официальная документация именно для этого бота на scraper.buffer.com/about/bots/link-preview-bot, где компания прямо описывает его задачи: генерация превью ссылок (заголовок, описание, миниатюра), встраивание изображений из внешних ссылок и облегчение предпросмотра контента перед публикацией. Это не фоновый краулер, а fetcher, срабатывающий по действию конкретного человека — пользователя Buffer, который в моменте набирает пост.

2. Зачем BufferLinkPreviewBot приходит на сайт

Бот заходит на сайт именно тогда, когда кто-то поделился вашим URL внутри Buffer — в мессенджере, соцсети или другом сервисе, генерирующем превью ссылок. Фетчер срабатывает в момент публикации/составления поста, чтобы забрать заголовок, описание и превью-картинку страницы. Это подтверждено и живой практикой поддержки Buffer: в публичной переписке в соцсети сотрудники компании лично просили вебмастера, случайно заблокировавшего бота, разрешить именно этот UA — то есть Buffer активно следит за жалобами и готова помогать разбираться с блокировками.

• Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги;
• Что ищет: публично доступные заголовки, описания, изображения и метаданные страницы — исключительно для построения превью, не для индексации или анализа контента в целом;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обращения привязаны к моменту, когда конкретный пользователь Buffer работает именно с вашей ссылкой, а не к произвольному расписанию.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует bufferlinkpreviewbot на пагинации и карточках. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно — но стоит помнить, что каждый такой визит соответствует конкретному человеку, который в этот момент собирался поделиться вашей страницей.

3. Нагрузка и риски именно для BufferLinkPreviewBot

Отдельной строки в публичной сводке top-bot TrafficVeil у bufferlinkpreviewbot может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи увидят «голую» ссылку без картинки и описания. Поскольку бот user-initiated, а не сканирует сайт сам, серьёзной фоновой нагрузки он обычно не создаёт — риск здесь не технический, а репутационный: сломанное превью снижает привлекательность ссылки при шеринге и, соответственно, кликабельность.

4. Как найти BufferLinkPreviewBot в логах

Не ищите «просто ботов» — ищите конкретный токен bufferlinkpreviewbot и рядом смотрите соседей по семейству ботов предпросмотра ссылок.

# Базовый поиск
grep -i "bufferlinkpreviewbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "bufferlinkpreviewbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "bufferlinkpreviewbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "bufferlinkpreviewbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк семейства ботов предпросмотра
grep -iE "bufferlinkpreviewbot|facebookexternalhit|linktiger|arenaunfurlbot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + IP + частоту + набор URL. Официального списка IP Buffer не публикует, поэтому опирайтесь на поведение — характерный признак настоящего бота именно этой категории: единичные точечные запросы к конкретным страницам, а не сканирование сайта.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для BufferLinkPreviewBot

# Жёсткий запрет
User-agent: bufferlinkpreviewbot
Disallow: /

# Разрешить всё
User-agent: bufferlinkpreviewbot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: bufferlinkpreviewbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для bufferlinkpreviewbot, только если превью в соцсетях сайту принципиально не нужны — в подавляющем большинстве случаев это не так, и блокировка скорее вредит распространению ссылок, чем экономит ресурсы.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "bufferlinkpreviewbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=bufferlinkpreviewb:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "bufferlinkpreviewbot") {
        limit_req zone=bufferlinkpreviewb burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} bufferlinkpreviewbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите bufferlinkpreviewbot в ботах домена или в разделе /system/bots;
• Для этой категории по умолчанию рекомендуется Allow — блокировка «на всякий случай» ломает карточки шеринга без реальной экономии ресурсов;
• Если ранее бот был заблокирован широким правилом (например, по общему слову «bot»), проверьте это в первую очередь — именно такие случайные блокировки Buffer чаще всего просит исправить;
• После изменения сверьте, что превью ссылки корректно отображается при тестовом шеринге через Buffer.

7. Рекомендации: что делать с BufferLinkPreviewBot

• Ломаются карточки шеринга — блокируйте только если превью принципиально не нужны;
• Если сайт активно продвигается через соцсети и планирование постов — держите бота разрешённым по умолчанию;
• Если бот случайно попал под широкое правило блокировки — исправьте это в первую очередь, это частая причина жалоб;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot и подобные легитимные фетчеры;
• Что будет при блокировке: пользователи увидят голую ссылку без картинки и описания при шеринге через Buffer.

8. С кем не путать BufferLinkPreviewBot

9. Стратегия allow/deny для BufferLinkPreviewBot