OpenText AI в логах: свой контент, не краулер

Строка opentext ai в логах легко принять за очередного обучающего AI-краулера — но OpenText (компания за этим именем) занимается корпоративным управлением информацией, а не обучением моделей на публичном вебе. Разбираемся, почему визит такого бота логичнее объяснять индексацией собственного контента компании-клиента, а не сбором «сырья» для AI.

Что такое OpenText AI на самом деле

OpenText — крупная канадская компания в сфере корпоративного управления информацией (content management, IAM, AIOps). Её AI-платформа Aviator работает поверх данных, которые компания-клиент уже хранит в своих системах — CRM, ERP, контент-менеджменте, документообороте, — объединяя их в единый информационный слой для поиска, суммаризации и автоматизации внутри самой организации. По описанию продукта, Aviator «работает с вашим контентом, рабочими процессами и системами», а не с произвольными сайтами в открытом вебе.

Честная оговорка: у OpenText, как и у ряда других корпоративных AI-платформ в этой энциклопедии, нет публичной страницы, документирующей поведение краулера при обращении к внешним сайтам. «Наиболее вероятная причина» — обоснованный вывод из описания продукта (AI-платформа работает с данными, которые клиент сам подключил), а не подтверждённый факт с точным механизмом.

Почему это не тот же риск, что у обучающих краулеров

OpenText не заявляет себя оператором масштабного обучающего краулера вроде GPTBot или CCBot. Продукт компании — корпоративный инструмент, работающий с данными внутри организации-клиента: если ваш сайт (например, публичный хелп-центр или документация) связан с визитом такого бота, вероятнее всего, что сама компания подключила эти страницы к своей платформе Aviator для внутреннего поиска и автоматизации сотрудников, а не что содержимое уходит в чужой обучающий корпус.

Как найти OpenText AI в логах

# Базовый поиск
grep -i "opentext ai" /var/log/nginx/access.log

# Какие страницы вычитывает бот (часто раздел документации/поддержки)
grep -i "opentext ai" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "opentext ai" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Официального списка IP нет, поэтому верификация особенно важна:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

Концентрация запросов на разделе документации или поддержки соответствует гипотезе о подключении собственного контента компании к корпоративному AI-инструменту. Системный обход разделов, не связанных со справочным контентом, — сигнал сверить IP отдельно.

robots.txt и настройка через TrafficVeil

# Разрешить (если раздел документации/поддержки подключён к OpenText Aviator)
User-agent: opentext ai
Allow: /

# Закрыть чувствительные разделы
User-agent: opentext ai
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /

TrafficVeil: прежде чем переключать opentext ai в «запретить», уточните у IT-команды, не подключена ли часть сайта (документация, хелп-центр) к платформе OpenText Aviator. Если подтверждено — allow без rate-limit: неполная индексация напрямую снизит качество внутреннего поиска и автоматизации для сотрудников компании.

Что в итоге делать с OpenText AI