ClickUpLinkUnfurler в логах: превью для рабочих чатов

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а ClickUpLinkUnfurler с User-Agent clickuplinkunfurler. ClickUp — реальная и известная платформа управления проектами и задачами (clickup.com), а «разворачивание» ссылок в карточки с деталями — задокументированная функция её интеграции со Slack: на официальной странице интеграций ClickUp прямо указано «unfurl links with rich details and actions» — превращение обычной ссылки в карточку с подробностями прямо в Slack-переписке.

1. Что такое ClickUpLinkUnfurler

Когда пользователь ClickUp делится ссылкой (на задачу ClickUp или на внешнюю страницу, упомянутую в задаче или переписке) в подключённом Slack-канале, интеграция должна «развернуть» эту ссылку в карточку с заголовком, описанием и действиями — примерно так же, как соцсети формируют превью при шеринге. Именно за это, судя по всему, отвечает ClickUpLinkUnfurler. Есть и документированный исторический нюанс: в 2023 году пользователи сообщали о баге, при котором ссылки на задачи ClickUp не разворачивались в Slack при отправке через определённые настройки интеграции (поле «Send as Bot») — баг был признан и впоследствии исправлен, что подтверждает: за функцией стоит реальная, поддерживаемая инженерная команда, а не заброшенный сервис.

2. Зачем ClickUpLinkUnfurler приходит на сайт

Бот забирает Open Graph и meta-теги для превью ссылки — это происходит, когда конкретный пользователь ClickUp делится вашей ссылкой в контексте задачи, документа или подключённого Slack-канала, а не по фоновому расписанию произвольного обхода. Это классический точечный link preview-fetcher: запрос к конкретному переданному URL, а не индексация сайта.

• Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги — конкретные страницы, которые кто-то упомянул в задаче ClickUp;
• Что ищет: заголовок, описание и превью-изображение страницы для карточки с деталями;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обращение разовое и привязано к конкретному действию пользователя ClickUp, а не к произвольному расписанию.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — ClickUpLinkUnfurler. Правильная реакция — не «выключить сайт», а точечно запретить UA, если превью в задачах и Slack-каналах пользователей ClickUp вам не нужны.

3. Нагрузка и риски именно для ClickUpLinkUnfurler

Отдельной строки в публичной сводке top-bot TrafficVeil у clickuplinkunfurler может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи увидят «голую» ссылку без картинки и описания. Поскольку бот user-initiated, а не сканирует сайт сам, серьёзной фоновой нагрузки он обычно не создаёт — основной риск здесь репутационный/функциональный: сломанное превью в рабочих чатах пользователей ClickUp снижает узнаваемость и привлекательность ссылки при шеринге в командах.

4. Как найти ClickUpLinkUnfurler в логах

Не ищите «просто ботов» — ищите конкретный токен clickuplinkunfurler и рядом смотрите соседей по семейству ботов предпросмотра ссылок.

# Базовый поиск
grep -i "clickuplinkunfurler" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "clickuplinkunfurler" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "clickuplinkunfurler" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "clickuplinkunfurler" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк семейства ботов предпросмотра
grep -iE "clickuplinkunfurler|bufferlinkpreviewbot|facebookexternalhit|arenaunfurlbot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + IP + частоту + набор URL. Официального списка IP ClickUp не публикует, поэтому опирайтесь на поведение — характерный признак настоящего link preview-бота этой категории: единичные точечные запросы к конкретным страницам, а не сканирование сайта.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для ClickUpLinkUnfurler

# Жёсткий запрет
User-agent: clickuplinkunfurler
Disallow: /

# Разрешить всё
User-agent: clickuplinkunfurler
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: clickuplinkunfurler
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для clickuplinkunfurler, только если превью в задачах и Slack-каналах пользователей ClickUp вам принципиально не нужны — в большинстве случаев это не так, и блокировка скорее ухудшает восприятие ссылки в рабочих чатах, чем экономит ресурсы.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "clickuplinkunfurler") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=clickuplinkunfurle:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "clickuplinkunfurler") {
        limit_req zone=clickuplinkunfurle burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} clickuplinkunfurler [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите clickuplinkunfurler в ботах домена или в /system/bots;
• Для этой категории по умолчанию рекомендуется Allow — блокировка «на всякий случай» портит карточки в рабочих чатах без реальной экономии ресурсов;
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
• После изменения сверьте логи: хиты ClickUpLinkUnfurler должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с ClickUpLinkUnfurler

• Ломаются карточки ссылок в задачах и Slack-каналах ClickUp — блокируйте только если превью принципиально не нужны;
• Если сайт активно упоминается в рабочих процессах команд, использующих ClickUp — держите бота разрешённым по умолчанию;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: пользователи ClickUp увидят голую ссылку без картинки и описания в задачах и Slack-каналах.

8. С кем не путать ClickUpLinkUnfurler

9. Стратегия allow/deny для ClickUpLinkUnfurler