JasperAI: бот маркетинговой AI-платформы Jasper — стоит ли пускать его на сайт

Строка jasperai в логах отсылает к Jasper — одной из крупнейших коммерческих платформ для AI-маркетинга (ранее известной как Jarvis), которую в 2021 году запустили Дейв Рогенмозер, Крис Халл и Джон Филип Морган. В отличие от классических AI-краулеров, у которых есть публично задокументированная строка User-Agent и политика по robots.txt (как, например, у GPTBot или ClaudeBot), у бота под меткой JasperAI такой официальной документации в открытом доступе нет — и это важная особенность, которую стоит учитывать при принятии решения о блокировке.

Кто такой Jasper и зачем его агентам заходить на чужие сайты

Jasper — это не просто генератор текста, а платформа AI-агентов для маркетинговых команд, покрывающая весь контент-конвейер: от исследования и планирования до создания, локализации и оптимизации контента. Среди её актуальных инструментов — генерация конкурентных сравнительных материалов, приоритизация AI-поисковых запросов, под которые стоит оптимизировать бренд, и создание «AI-готовых» фактических утверждений, рассчитанных на цитирование в ответах поисковых систем на базе ИИ (AEO/GEO-оптимизация). Логика этих функций подразумевает, что платформе нужно опираться на реальные, актуальные данные с публичных страниц — конкурентных сайтов, отраслевых источников, справочного контента, — а не только на знания модели. Это и есть наиболее вероятная причина, по которой автоматизированный клиент Jasper может обращаться к стороннему сайту: сбор данных для конкретной маркетинговой задачи пользователя платформы, а не системный обход всего интернета ради обучения модели.

Параметры бота

Отсутствие публичной документации именно по этому боту — не редкость для более нишевых AI-инструментов, но она означает, что решение allow/deny здесь опирается не на заявленную политику компании, а на наблюдаемое поведение: если запросы точечные и привязаны к разумному набору URL, это укладывается в описанный выше сценарий пользовательского запроса; если краулер методично проходит по всему каталогу и пагинации — это уже сигнал для более настороженного отношения, независимо от предполагаемой легитимности бренда за именем.

Как найти бота в логах

# Базовый поиск
grep -i "jasperai" /var/log/nginx/access.log

# Какие URL вычитывает бот
grep -i "jasperai" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Распределение по IP
grep -i "jasperai" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Раз официального списка адресов нет, а строка User-Agent в принципе подделываема любым скриптом, при подозрении на аномальную активность стоит свериться с ASN конкретных IP через whois — это единственный способ отличить настоящий трафик Jasper от чужого бота, который просто представился этим именем.

Стоит ли блокировать

Как и с большинством AI-инструментов, работающих по задаче пользователя, а не в фоновом режиме массового сбора:

• на позиции в органической выдаче Google или Яндекса блокировка не влияет;
• если сайт регулярно упоминается в конкурентном анализе или контент-исследованиях (например, отраслевой блог, сравнительные обзоры, справочные статьи), присутствие в подобных AI-инструментах может увеличивать шанс попасть в цитируемые источники при GEO/AEO-оптимизации — то есть это не всегда чистый минус;
• если нагрузка от бота заметна на сервере или объём обращений непропорционален размеру сайта — это самостоятельный повод для rate-limit вне зависимости от репутации бренда.

Как ограничить или заблокировать

Базовое правило в robots.txt:

User-agent: jasperai
Disallow: /

Компромисс — закрыть только чувствительные разделы:

User-agent: jasperai
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

Поскольку соблюдение robots.txt этим агентом официально не подтверждено, для надёжности стоит продублировать запрет на уровне сервера:

if ($http_user_agent ~* "jasperai") {
    return 403;
}

Если цель — не полный запрет, а контроль частоты обращений:

limit_req_zone $binary_remote_addr zone=jasperai:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "jasperai") {
        limit_req zone=jasperai burst=20 nodelay;
    }
}

Итог

JasperAI — это, по всей видимости, клиент известной маркетинговой AI-платформы Jasper, а не анонимный скрапер, но официального технического описания поведения бота компания не публикует. Поэтому решение стоит принимать не по умолчанию, опираясь на репутацию бренда, а по фактическому паттерну запросов в собственных логах: точечные обращения по разумному набору URL — рабочий сценарий, а систематический обход всего сайта — повод для ограничения независимо от того, кто стоит за именем в User-Agent.