Два бота одной Kagi: не путайте kagi-fetcher с Kagibot

kagi-fetcher стоит отдельного правила в антиботе — но прежде чем настраивать это правило, стоит разобраться, что перед вами: у поисковой системы Kagi на самом деле два разных бота, и в логах их легко перепутать.

Не путайте kagi-fetcher с Kagibot

Это разные боты одной компании с разной логикой поведения — как если бы у сайта был отдельный краулер для поиска и отдельный fetcher для ИИ-ассистента. Далее речь именно про kagi-fetcher.

Что такое kagi-fetcher

Зачем kagi-fetcher приходит на сайт

Логика похожа на другие «user-triggered» fetch-агенты: кто-то из подписчиков Kagi задал вопрос через Kagi Assistant, и для формирования ответа сервису понадобилось подгрузить содержимое конкретной страницы вашего сайта.

• Какие зоны чаще трогает: конкретные URL, которые оказались релевантны запросу пользователя — не сайт целиком
• Что ищет: содержимое страницы для формирования ответа ИИ-инструмента Kagi
• Чем отличается от Kagibot: нет систематического обхода по расписанию — визиты привязаны к моменту, когда чей-то запрос затронул именно ваш контент

Типичный кейс: CDN-трафик слегка дорожает, origin CPU нагружен вычиткой отдельных HTML-страниц. Фильтр по kagi-fetcher в логах покажет точечные, не систематические обращения — это отличает его от типичного «фонового шума» обычных нежелательных краулеров.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у kagi-fetcher может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Учитывая природу user-triggered fetch, объём для большинства сайтов, скорее всего, невелик — Kagi заметно менее массовая аудитория, чем Google или OpenAI. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти kagi-fetcher в логах

# Базовый поиск
grep -i "kagi-fetcher" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "kagi-fetcher" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "kagi-fetcher" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "kagi-fetcher" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить kagi-fetcher от Kagibot — это разные боты
grep -iE "kagi-fetcher|kagibot" /var/log/nginx/access.log | \
  sed -n 's/.*"\([^"]*\)".*/\1/p' | sort | uniq -c | sort -rn

Верификация

Подделать User-Agent может любой скрипт. Официального списка IP для kagi-fetcher нет — не путайте с IP-адресами Kagibot (216.18.205.234, 35.212.27.76, 104.254.65.50, 209.151.156.194), они относятся к другому боту той же компании и не годятся для верификации kagi-fetcher.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для kagi-fetcher

# Жёсткий запрет
User-agent: kagi-fetcher
Disallow: /

# Разрешить всё
User-agent: kagi-fetcher
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: kagi-fetcher
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: не переносите на kagi-fetcher правила, написанные под Kagibot, и наоборот — у Kagi нет общего правила «одно на всю компанию», это разные User-agent токены с разным поведением.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "kagi-fetcher") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=kagifetcher:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "kagi-fetcher") {
        limit_req zone=kagifetcher burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} kagi-fetcher [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите kagi-fetcher отдельно от Kagibot в ботах домена или в /system/bots — это разные записи
• Для нежелательного сценария — категория «запретить»; для мягкого — rate-limit
• Allow стоит рассматривать, если для сайта важна видимость в ответах Kagi AI
• После изменения сверьте логи: хиты kagi-fetcher должны уйти в блок/лимит, а Kagibot и другие поисковики остаться без изменений

Рекомендации: что делать с kagi-fetcher

• Видимость в ответах Kagi AI не приоритет — Disallow/403, критичных потерь для основного SEO не будет (это не Kagibot, не основной поисковый индекс)
• Важна видимость в ИИ-ответах Kagi — Allow, но отдельным правилом, не смешивая с настройками Kagibot
• Если нагрузка мешает — сначала rate-limit, затем полный запрет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot вместе с kagi-fetcher