Slackbot-LinkExpanding: почему совпадение текста ссылки с URL может вообще отменить визит бота

Slackbot-LinkExpanding — первая половина уже знакомой по этой серии пары ботов Slack (вторая — Slack-ImgProxy, который отдельно забирает и проксирует само изображение). Именно LinkExpanding первым обращается к странице, когда пользователь вставляет в сообщение ссылку, и разбирает её содержимое, чтобы построить то, что Slack официально называет «unfurl» — развёрнутую карточку предпросмотра прямо в чате.

Технические тонкости процесса unfurl, которые определяют поведение бота

По официальной документации Slack, разворачивание ссылки — не универсальный процесс для абсолютно любого URL: платформа сама решает, разворачивать ли конкретную ссылку, отталкиваясь от типа контента. «Медиа» — изображения, твиты, видео, аудио — обрабатывается иначе, чем обычные текстовые страницы. У процесса есть и практический лимит: Slack разворачивает не более пяти ссылок в одном сообщении, даже если их вставлено больше. Ещё одна нетривиальная деталь напрямую влияет на то, будет ли вообще вызван unfurl-бот: если текст ссылки в сообщении (label) совпадает с самим URL без протокола, разворачивание не произойдёт — а вот если пользователь дал ссылке содержательное имя, отличное от самого адреса, она развернётся. Именно эта логика определяет, зайдёт ли Slackbot-LinkExpanding на конкретную страницу вообще, а не только сам факт наличия ссылки в сообщении.

Параметры бота

Почему это не «индексация сайта», а событийный, точечный процесс

Важно не путать эту механику с системным обходом сайта: Slackbot-LinkExpanding не сканирует произвольные страницы сайта самостоятельно — он реагирует исключительно на факт того, что кто-то в конкретном Slack-канале вставил конкретную ссылку, причём даже это не гарантирует запрос (см. правило про совпадение label с URL выше). Это тот же принципиальный класс поведения, что у redditbot, OdklBot и bitlybot из этой серии: точечный fetch по действию пользователя, а не фоновый краулинг.

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов slackbot-linkexpanding на подключённых доменах составил порядка 200. Это ожидаемо небольшой объём, соответствующий узкому, событийному характеру запросов, которые срабатывают только при обсуждении конкретной ссылки в рабочих Slack-каналах.

Как найти бота в логах

grep -iE "Slackbot-LinkExpanding|Slackbot" /var/log/nginx/access.log

Стоит ли блокировать

• если сайт заинтересован в качественных превью при обсуждении ссылок в рабочих Slack-каналах (актуально для SaaS-продуктов, документации, инструментов для команд — именно там Slack особенно активно используется) — бота стоит разрешить и убедиться, что og-теги отдаются в исходном серверном HTML;
• если превью в Slack не имеют значения для сайта — блокировка не влияет на позиции в органической выдаче Google, Bing или Яндекса, поскольку unfurl не связан с классической поисковой индексацией;
• помнить, что этот бот работает в паре с Slack-ImgProxy: запрет одного при разрешённом другом даст неполное превью — например, заголовок и описание появятся, а картинка нет.

Как настроить доступ

Если превью в Slack нужны — явное разрешение, критично важно также убедиться, что og-теги присутствуют сразу в серверном HTML, а не подгружаются клиентским JavaScript:

User-agent: Slackbot-LinkExpanding
Allow: /

Если превью не нужны — запрет с дублированием на уровне сервера:

User-agent: Slackbot-LinkExpanding
Disallow: /

if ($http_user_agent ~* "Slackbot-LinkExpanding") {
    return 403;
}