OAI-SearchBot

Для веб-мастеров это ключевой агент, если цель — быть видимым в поисковых ответах ChatGPT: OpenAI прямо заявляет, что сайты, заблокировавшие OAI-SearchBot, не будут показаны в поисковых ответах ChatGPT, хотя навигационные ссылки на них всё ещё могут появляться.

1. Что такое OAI-SearchBot

Параметр	Значение
User-Agent (токен)	OAI-SearchBot
Полная строка UA	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
Оператор	OpenAI
Назначение	Построение поискового индекса для функции ChatGPT Search
Официальная документация	openai.com/searchbot
Список IP-адресов	openai.com/searchbot.json
Соблюдение robots.txt	Да, официально подтверждено
Используется для обучения моделей	Нет
Задержка применения изменений robots.txt	~24 часа с момента обновления файла

2. Как работает OAI-SearchBot

• Сканирует сайты для построения актуального поискового индекса, используемого функцией поиска ChatGPT;
• Расписание сканирования более частое, чем у GPTBot — приоритет отдаётся свежести данных, а не только полноте охвата;
• Учитывает независимые настройки robots.txt — можно разрешить OAI-SearchBot, одновременно запретив GPTBot;
• После изменения robots.txt системе OpenAI требуется около суток, чтобы учесть новые правила.

3. Нагрузка на сервер

По данным мониторинга bot-трафика Trafficveil (ClickHouse, 696 доменов, 161 уникальный бот, март–июнь 2026) поисковые и AI-краулеры OpenAI в совокупности не входят в число самых заметных источников нагрузки по сравнению с лидерами вроде Meta ExternalAgent или Bytespider. За счёт более частого расписания, чем у GPTBot, OAI-SearchBot может генерировать более регулярный, хоть и умеренный поток запросов на сайтах с часто обновляемым контентом (новости, каталоги, блоги).

4. Обнаружение в логах

Поиск по User-Agent

# Все запросы от OAI-SearchBot
grep "OAI-SearchBot" /var/log/nginx/access.log

# Количество запросов за сегодня
grep "OAI-SearchBot" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l

# Уникальные IP-адреса
grep "OAI-SearchBot" /var/log/nginx/access.log | awk '{print $1}' | sort -u

# Частота визитов по дням (проверка регулярности индексации)
grep "OAI-SearchBot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация IP через официальный список

#!/bin/bash
# Верификация IP OAI-SearchBot через официальный JSON-список OpenAI
LOG_FILE="/var/log/nginx/access.log"
IP_LIST_URL="https://openai.com/searchbot.json"

curl -s "$IP_LIST_URL" -o /tmp/searchbot_ranges.json

echo "IP-адрес | Принадлежит официальному диапазону OAI-SearchBot"
echo "-------------------------------------------------------------"

IPS=$(grep "OAI-SearchBot" "$LOG_FILE" | awk '{print $1}' | sort -u)

for ip in $IPS; do
    match=$(python3 -c "
import json, ipaddress, sys
try:
    data = json.load(open('/tmp/searchbot_ranges.json'))
    prefixes = data.get('prefixes', [])
    ip = ipaddress.ip_address('$ip')
    for p in prefixes:
        net = p.get('ipv4Prefix') or p.get('ipv6Prefix')
        if net and ip in ipaddress.ip_network(net):
            print('да')
            sys.exit()
    print('нет')
except Exception as e:
    print('ошибка проверки')
")
    echo "$ip | $match"
done

5. robots.txt

# Разрешить попадание в поиск ChatGPT, запретить использование в обучении
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

# Полная блокировка поискового индексирования ChatGPT
User-agent: OAI-SearchBot
Disallow: /

# Точечное ограничение — закрыть служебные разделы
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /cart/
Allow: /

6. Управление на уровне сервера

Nginx

if ($http_user_agent ~* "OAI-SearchBot") {
    return 403;
}

# Мягкий вариант — ограничение частоты запросов
limit_req_zone $binary_remote_addr zone=oaisearch:10m rate=15r/m;

location / {
    if ($http_user_agent ~* "OAI-SearchBot") {
        limit_req zone=oaisearch burst=30 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} OAI-SearchBot [NC]
RewriteRule ^ - [F,L]

7. Рекомендации по оптимизации

• Если цель — трафик из ChatGPT Search, OAI-SearchBot нельзя блокировать случайно — проверьте, что широкие правила вида Disallow: / для User-agent: * не перекрывают доступ этому агенту;
• Разрешение OAI-SearchBot не означает автоматическое разрешение GPTBot — можно быть видимым в поиске ChatGPT, не отдавая контент на обучение моделей;
• Закладывайте задержку ~24 часа после изменений robots.txt перед тем, как проверять эффект на видимость;
• Контент должен рендериться на сервере — как и большинство AI-краулеров, OAI-SearchBot ограниченно работает с контентом, требующим выполнения JavaScript;
• Проверяйте WAF/CDN отдельно — правила защиты от ботов (Cloudflare, Akamai) могут блокировать легитимный трафик OAI-SearchBot ещё до robots.txt.

8. Сравнение с похожими ботами

Бот	Оператор	Назначение	Используется для обучения
OAI-SearchBot	OpenAI	Поиск ChatGPT	Нет
GPTBot	OpenAI	Обучение моделей	Да
ChatGPT-User	OpenAI	Запросы пользователя в моменте	Нет
PerplexityBot	Perplexity	Индекс для AI-поиска	Нет (по заявлению Perplexity)
Claude-SearchBot	Anthropic	Поисковая индексация Claude	Нет
Google-Extended	Google	Обучение Gemini	Да

9. Сводная таблица стратегии

Цель сайта	Рекомендация
Хочу трафик и цитирования из ChatGPT Search	Allow для OAI-SearchBot; убедиться, что контент рендерится без JS
Не хочу участвовать в поиске ChatGPT ни в каком виде	Disallow для OAI-SearchBot
Хочу поиск, но не обучение моделей	Allow для OAI-SearchBot + Disallow для GPTBot
После изменения robots.txt видимость не меняется	Подождать ~24 часа, затем проверить WAF/CDN на предмет блокировки IP из searchbot.json