KargoBot в логах: рекламный бот, замаскированный под iPhone

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а KargoBot с User-Agent, содержащим kargobot. Это не анонимный сканер — оператор известен и является крупным игроком в мобильной и CTV-рекламе: Kargo, компания, которая управляет рекламными размещениями для таких медиа, как CBS Interactive, Hearst, Daily Mail, Vice и Vox.

1. Что такое KargoBot

Официальное название бота — KargoBot-Artemis-Mobile, и у него есть отдельная документированная страница на сайте Kargo, где компания прямо называет его «автономным ботом верификации контента» (autonomous content verification bot). Задача — не индексация и не сбор данных для стороннего использования, а проверка контента страниц, на которых размещается или может размещаться реклама Kargo, в логике brand safety и контекстной релевантности. Технически бот маскируется под мобильный Safari на iPhone — в базовой части UA это обычный браузерный отпечаток, и только в скобках указывается настоящее имя бота и ссылка на документацию.

2. Зачем KargoBot приходит на сайт

Появление KargoBot в access.log означает машинный доступ к сайту, а не пользовательскую сессию — бот проверяет контент страницы, чтобы подтвердить её пригодность для показа рекламы Kargo (или уже размещённой рекламы) с точки зрения безопасности бренда и контекста. Поскольку UA замаскирован под iPhone Safari, обычные фильтры по общему слову «bot» или «crawler» его пропустят — токен kargobot виден только при полном разборе строки UA.

• Какие зоны чаще трогает: публичные URL, вероятнее всего — страницы, где показывается или может показываться реклама Kargo;
• Что ищет: контент, метаданные и контекстные сигналы страницы для проверки brand safety;
• Чем отличается от браузерного пользователя: базовый отпечаток UA выглядит как реальный мобильный Safari, но нет нормальной сессии, а в конце строки прямо указано «compatible; KargoBot-Artemis-Mobile».

Типичный кейс: CDN-трафик дорожает, origin CPU нагружен рендерингом мобильной версии HTML. Фильтр по kargobot показывает, что бот заходит на публичные URL — важно смотреть именно на подстроку внутри полного UA, а не полагаться на то, что «мобильный трафик» автоматически означает реального пользователя.

3. Нагрузка и риски именно для KargoBot

Отдельной строки в публичной сводке top-bot TrafficVeil у kargobot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Отдельный практический риск именно для этого бота — маскировка под мобильный браузер: если аналитика считает трафик по UA-эвристикам «похоже на реального мобильного пользователя», хиты KargoBot могут искажать метрики мобильной аудитории заметнее, чем у ботов с явным «botовым» отпечатком.

4. Как найти KargoBot в логах

Не ищите «просто ботов» — ищите конкретный токен kargobot внутри полной строки UA, а не полагайтесь на общие фильтры по слову «bot».

# Базовый поиск
grep -i "kargobot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "kargobot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "kargobot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "kargobot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверить, не «прячется» ли бот в общем мобильном трафике при поверхностном фильтре
grep -i "iPhone.*Safari" /var/log/nginx/access.log | grep -ic "kargobot"

Верификация. Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + IP + частоту + набор URL. Официального списка IP не обнаружено, поэтому основной сигнал подлинности — точное совпадение полной строки UA с задокументированной на kargo.com/kargobot-artemis.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для KargoBot

# Жёсткий запрет
User-agent: KargoBot-Artemis-Mobile
Disallow: /

# Разрешить всё
User-agent: KargoBot-Artemis-Mobile
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: KargoBot-Artemis-Mobile
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для kargobot, если пользы нет. Используйте в robots.txt именно полный токен KargoBot-Artemis-Mobile — общее правило по «bot» не сработает, поскольку остальная часть строки UA выглядит как легитимный iPhone Safari.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "kargobot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=kargobot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "kargobot") {
        limit_req zone=kargobot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} kargobot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите kargobot в ботах домена или в /system/bots;
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
• Allow только при явной пользе от KargoBot — например, если сайт монетизируется через рекламные размещения Kargo и верификация контента для вас полезна;
• После изменения сверьте логи и отдельно проверьте статистику мобильного трафика — маскировка бота под iPhone Safari могла ранее искажать эти цифры.

7. Рекомендации: что делать с KargoBot

• Если пользы нет — Disallow/403 для kargobot, если пользы нет;
• Если польза есть (сайт работает с рекламными размещениями Kargo) — Allow только при явной пользе от KargoBot;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: обычно ничего критичного для SEO не теряете, если это не поисковик и не ваш сервисный агент; отдельно стоит пересчитать метрики мобильного трафика, если ранее бот в них не отделялся.

8. С кем не путать KargoBot

9. Стратегия allow/deny для KargoBot