BingAI: почему такого бота официально не существует — Copilot работает через обычный Bingbot

Ключевой факт, который стоит знать про строку bingai в логах: отдельного, официально задокументированного краулера с таким именем у Microsoft не существует. Bing Chat, впоследствии переименованный в Microsoft Copilot, не использует уникальный собственный User-Agent для сбора веб-контента — вместо этого AI-функции Bing строятся поверх уже существующего поискового индекса, который собирает обычный bingbot. Отдельного «CopilotBot» или «BingAI» в семье официальных краулеров Microsoft просто нет.

Как на самом деле устроена связка Bing Search и Copilot

По независимым техническим разборам краулеров Microsoft, тот же самый Bingbot, который наполняет классическую поисковую выдачу Bing, параллельно снабжает данными и AI-ответы Copilot — то есть оптимизация видимости для «обычного» поиска Bing и для AI-функций компании технически представляет собой одну и ту же задачу, а не две раздельные. Более того, часть агентов, связанных именно с браузингом Copilot в реальном времени по запросу пользователя, по наблюдениям специалистов, вообще не всегда используют уникальную, легко узнаваемую строку User-Agent — они могут работать поверх той же инфраструктуры, что и Bingbot, что делает их детектирование через простое совпадение UA ненадёжным без дополнительного поведенческого анализа.

Что реально входит в семейство краулеров Microsoft/Bing

Токена bingai или BingAI среди официально задокументированных агентов Microsoft нет ни в одном из проверенных источников.

Что тогда означает появление именно этого токена в логах

Реалистичных объяснений немного, и все они менее прямолинейны, чем «это официальный бот Microsoft»:

• Спуфинг — сторонний скрапер намеренно представляется узнаваемым именем, составленным из «Bing» и «AI», в расчёте на то, что администратор сайта либо пропустит его как легитимный по звучанию, либо решит не разбираться и добавит в белый список автоматически;
• Устаревшее или неофициальное обозначение — часть сторонних каталогов и инструментов SEO-мониторинга могла условно назвать этим именем совокупный AI-трафик Microsoft для упрощения отчётности, не будучи официальной строкой UA, которую действительно рассылает инфраструктура Bing;
• Инструмент со схожим неофициальным названием — сторонний продукт, использующий похожее имя без прямого отношения к Microsoft.

Как найти в логах и что проверить

# Поиск по спорному токену
grep -i "bingai" /var/log/nginx/access.log

# Сравнение с реальным семейством Bing
grep -iE "bingbot|adidxbot|bingpreview|microsoftpreview" /var/log/nginx/access.log

Официальная верификация подлинности для всего реального семейства Bing — двойной DNS lookup, где обратный запрос по IP должен приводить к домену вида *.search.msn.com, а Microsoft дополнительно публикует машиночитаемый список IP-диапазонов по адресу bing.com/toolbox/bingbot.json. Если IP, отправивший запрос с UA bingai, не проходит эту проверку — это веский повод считать трафик спуфингом, а не пропущенным в документации настоящим ботом Microsoft.

Как настроить политику допуска правильно

Поскольку официального «BingAI» не существует, а видимость и в классическом поиске Bing, и в ответах Copilot регулируется одним и тем же ботом, всё внимание стоит сосредоточить на реальном токене:

User-agent: bingbot
Allow: /

Блокировка bingbot одновременно уберёт сайт и из поисковой выдачи Bing, и из потенциальных цитирований в ответах Copilot — это единый переключатель, а не два независимых. Для спорного токена bingai, при отсутствии подтверждения его официального статуса, — блокировка без исключений:

User-agent: bingai
Disallow: /

if ($http_user_agent ~* "bingai") {
    return 403;
}

На позиции в органической выдаче Google, Yandex или других независимых поисковых систем ни один из этих ботов не влияет — это отдельная от них, но при этом внутренне единая экосистема Microsoft.