Liner Bot в логах: AI-поиск с цитированием источников

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а Liner Bot с User-Agent liner-bot. Оператор здесь известен и хорошо документирован: LINER Corp, южнокорейская компания (Сеул) — разработчик приложения Liner, AI-поисковика с цитированием источников, который использует модели вроде GPT-5, Gemini и Claude для ответов с указанием ссылок на первоисточники.

1. Что такое Liner Bot

У LinerBot есть официальная страница документации на docs.getliner.com/docs/linerbot, где компания прямо объясняет назначение: краулер собирает информацию из интернета и индексирует её для поискового движка Liner, чтобы приложение могло отвечать пользователям с указанием реальных источников. Это не поисковая система общего назначения вроде Google — блокировка бота не влияет на позиции сайта в обычной поисковой выдаче.

2. Зачем Liner Bot приходит на сайт

По официальному заявлению LINER Corp, компания собирает данные, чтобы обеспечить лучший опыт поиска в своём приложении — то есть цель практически идентична другим AI-поисковикам с цитированием (как Perplexity): индексация контента для последующих ответов с указанием источника, а не тренировка моделей и не классическая SEO-индексация.

• Какие зоны чаще трогает: публичные URL, иногда API и статику — конкретный паттерн определяется логикой построения поискового индекса Liner;
• Что ищет: контент страницы для индексации и последующего цитирования в ответах AI-поисковика приложения;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и привязан к логике пополнения поискового индекса, а не к интересу конкретного человека.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — Liner Bot. Правильная реакция — не «выключить сайт», а точечно запретить UA/политику бота, если вы не хотите, чтобы контент участвовал в цитируемых ответах приложения Liner.

3. Нагрузка и риски именно для Liner Bot

Отдельной строки в публичной сводке top-bot TrafficVeil у liner-bot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Независимые каталоги ботов присваивают LinerBot пометку осторожности («caution») — легитимное использование признаётся, но отмечается потенциальная ресурсоёмкость и общий риск использования собранных данных для конкурентной разведки, как и у многих индексирующих AI-краулеров.

4. Как найти Liner Bot в логах

Не ищите «просто ботов» — ищите конкретный токен liner-bot.

# Базовый поиск
grep -i "liner-bot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "liner-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — сверьте с официальным списком docs.getliner.com/linerbot.json
grep -i "liner-bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "liner-bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "liner-bot|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт, но для LinerBot это один из немногих случаев, когда верификация надёжна: LINER Corp официально публикует и обновляет список IP по адресу docs.getliner.com/linerbot.json. Сверяйтесь именно с ним, помня, что список может меняться со временем.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Liner Bot

# Жёсткий запрет
User-agent: LinerBot
Disallow: /

# Разрешить всё
User-agent: LinerBot
Allow: /

# Компромисс: запретить только отдельные разделы (официально поддерживается)
User-agent: LinerBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для liner-bot, если пользы нет. Компания сама даёт официальную инструкцию, как ограничить доступ только к конкретным путям, а не только полностью запретить или разрешить весь сайт.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "liner-bot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=linerbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "liner-bot") {
        limit_req zone=linerbot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} LinerBot [NC]
RewriteRule .* - [F,L]

TrafficVeil

• Найдите liner-bot в ботах домена или в /system/bots;
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
• Allow только при явной пользе от Liner Bot — например, если вы заинтересованы в цитировании контента в ответах приложения Liner;
• После изменения сверьте логи по официальному списку IP из docs.getliner.com/linerbot.json, чтобы убедиться, что заблокирован именно настоящий бот, а не подделка под его UA.

7. Рекомендации: что делать с Liner Bot

• Если пользы нет — Disallow/403 для liner-bot, если пользы нет;
• Если польза есть (заинтересованы в цитировании в AI-поиске Liner) — Allow только при явной пользе;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: обычно ничего критичного для SEO не теряете — это не поисковик общего назначения, а индексирующий краулер конкретного AI-приложения.

8. С кем не путать Liner Bot

9. Стратегия allow/deny для Liner Bot