LinkupBot цитирует источники — в отличие от многих AI-краулеров

LinkupBot в логах TrafficVeil — краулер платформы Linkup (linkup.so): собственный web-index для AI search / RAG-инфраструктуры. Контент попадает в retrieval-ответы клиентов Linkup. Это не Googlebot.

Не путать с LinkUp (jobs)

UA и домен в ссылке из User-Agent решают, кто перед вами. Материал ниже — про linkup.so. Любопытный контраст: у job-бота linkup.com открытости больше — они официально публикуют конкретный IP запросов (24.144.65.32) и рекомендацию по Crawl-delay в 10 секунд, тогда как AI-краулер linkup.so такого компактного списка не даёт.

Параметры

Это не «отдаёт данные в одну сторону» — есть citation-модель

В отличие от части AI-краулеров, которые просто забирают контент без видимой отдачи, LinkupBot — канал, через который сайт становится цитируемым внутри AI-ответов Linkup: независимые каталоги ботов прямо подтверждают, что такие краулеры цитируют и дают обратные ссылки на источник в сгенерированном ответе. Это меняет расчёт allow/deny: разрешение обхода может приносить сайту реальные упоминания и переходы из AI-ответов, а не только «кормить» чужой индекс без отдачи.

Почему TDMRep — не просто ещё один opt-out

TDMRep — формирующийся в ЕС стандарт для машиночитаемых прав на использование контента (text & data mining), который в перспективе должен работать надёжнее прозы в пользовательском соглашении: права привязываются к ISCC-отпечаткам контента и должны быть понятны машине, а не только человеку. Немецкий суд в декабре 2025 года прямо постановил, что оговорка об использовании засчитывается, только если её может «прочитать и интерпретировать» именно машина. Поддержка TDMRep у Linkup — сигнал соответствия этому направлению регулирования, особенно значимый для проектов с европейской аудиторией, где подобные стандарты формализуются быстрее.

Нагрузка

По сводке TrafficVeil паттерн linkupbot — порядка 21 тысячи запросов (март почти пустой, апрель–май основной объём, июнь по 14.06 ~1,4 тыс.).

Логи

grep -i "LinkupBot" /var/log/nginx/access.log

Ищите ссылку на linkup.so/bot в UA. Совпадение строки без инфраструктуры Linkup — не доказательство (возможен спуфинг); строку UA легко подделать, надёжнее дождаться публикации официальных IP-диапазонов или проверять через reverse DNS, если он появится.

robots.txt

User-agent: LinkupBot
Disallow: /

# Для job-краулера LinkUp (другой продукт) токен тоже LinkUpBot —
# проверяйте URL в UA перед жёсткими правилами

Linkup заявляет уважение к robots.txt и TDMRep. Для гарантии — deny на edge, если важен полный контроль, а не только формальная просьба.

Nginx / TrafficVeil

if ($http_user_agent ~* "LinkupBot") {
    return 403;
}

• Нужна видимость в AI-ответах через индекс Linkup — Allow, учитывая что это citation-канал, а не просто забор данных
• Не хотите отдавать контент в AI retrieval Linkup — Disallow + TrafficVeil deny
• На классический SEO Google не влияет напрямую — блокировка касается только продукта Linkup, а не позиций в поиске

Стратегия