ChatGPT Operator: почему это не краулер, а виртуальный пользователь — и почему robots.txt здесь работает слабее

ChatGPT Operator в корне отличается от привычных AI-краулеров вроде GPTBot по одной ключевой причине: это не автоматизированный сборщик данных, а браузерный агент, управляемый в реальном времени задачей конкретного пользователя. По классификации независимых аналитиков бот-трафика, Operator ведёт себя «скорее как виртуальный пользователь, чем как традиционный краулер»: он выполняет задачи, инициированные человеком — заполняет формы, оформляет заказы, записывается на приём, — а не системно обходит сайты в фоновом режиме ради накопления обучающего датасета.

Что такое Operator и как он соотносится с остальными ботами OpenAI

Operator запустили 23 января 2025 года как отдельный AI-агент, способный автономно выполнять задачи через взаимодействие с браузером — от заполнения форм до размещения заказов и других повторяющихся действий, которые обычно делает вживую человек. Важно не путать его с тремя основными краулерами OpenAI, у каждого из которых отдельная, независимо настраиваемая роль: GPTBot собирает контент для обучения будущих моделей, OAI-SearchBot строит поисковый индекс для функции поиска в ChatGPT, а ChatGPT-User выполняет разовые запросы по прямой команде пользователя в диалоге. У OpenAI все три настраиваются в robots.txt раздельно — например, можно разрешить OAI-SearchBot ради присутствия в поиске ChatGPT, полностью запретив при этом GPTBot, чтобы контент не использовался для тренировки моделей.

Параметры

Почему шаблон «AI-краулер = используйте robots.txt» здесь работает хуже

Ключевая практическая проблема — Operator по своей природе не является тем типом бота, для которого правило в robots.txt было спроектировано как надёжный инструмент управления. Классический краулер обходит сайты самостоятельно и заранее, вне контекста конкретного запроса человека, — и именно поэтому владелец сайта может заранее договориться с ним через файл политики. Operator же по описанию исполняет действия в реальном времени от имени конкретного пользователя, инициировавшего задачу, — то есть ближе по своей природе к автоматизированному браузеру человека, чем к фоновому индексатору, и, по наблюдениям, не гарантированно ограничивает себя правилами robots.txt так же, как это делают три основных краулера OpenAI.

Как найти в логах

grep -i "chatgpt-operator" /var/log/nginx/access.log

Поскольку единой задокументированной строки UA и официального списка IP-адресов для Operator, в отличие от GPTBot и OAI-SearchBot, нет, для проверки подлинности при аномальной активности стоит опираться на связку поведения и происхождения IP через ASN, а не полагаться на текст заголовка.

Стоит ли блокировать

Оценка здесь отличается от типового AI-краулера тем, что трафик Operator — прямое следствие действия живого пользователя, пытающегося что-то сделать на сайте (например, оформить заказ или заполнить форму) через ChatGPT, а не безличный фоновый обход:

• если сайт заинтересован в том, чтобы пользователи ChatGPT могли совершать на нём реальные действия (покупки, бронирования, заполнение форм) через агентские сценарии, — блокировка Operator напрямую ломает этот пользовательский сценарий, а не просто «экономит трафик»;
• если автоматизированное взаимодействие с формами и функциями сайта нежелательно (риски для форм оплаты, создания учётных записей, других чувствительных действий) — ограничение обосновано именно как защита конкретных функциональных путей, а не общий запрет на AI-видимость;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие Operator не влияет — это не поисковый краулер ни одной системы.

Как настроить доступ

Полный запрет через robots.txt — с оговоркой, что гарантии соблюдения ниже, чем у GPTBot или OAI-SearchBot:

User-agent: chatgpt-operator
Disallow: /

Поскольку соблюдение robots.txt этим агентом не гарантировано, для реально чувствительных путей (оформление заказа, платёжные формы, создание аккаунта) надёжнее полагаться не на файл политики, а на прямой контроль на уровне приложения или сервера:

if ($http_user_agent ~* "chatgpt-operator") {
    return 403;
}

Если задача — не заблокировать полностью, а просто снизить частоту автоматизированных обращений к определённым разделам, разумная альтернатива — ограничение скорости запросов вместо жёсткого запрета, особенно если часть таких сценариев (например, помощь пользователю с покупкой) в принципе желательна для бизнеса:

limit_req_zone $binary_remote_addr zone=chatgptoperator:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "chatgpt-operator") {
        limit_req zone=chatgptoperator burst=20 nodelay;
    }
}