«Copilot» — обманчиво простое название: у Microsoft одновременно существует несколько разных механизмов под этим брендом с принципиально разным поведением, и токен copilot в логах не указывает однозначно ни на один из них. Хуже того: значительная часть реального трафика Copilot вообще не несёт никакого узнаваемого бот-сигнала — она неотличима от обычного браузера Edge. Прежде чем настраивать правило, стоит разобраться, с каким именно Copilot вы имеете дело.
1. Что такое Copilot на самом деле — точнее, «какие Copilot»
Под одним брендом Microsoft скрывается как минимум три разных механизма с разным профилем обхода:
- Microsoft Copilot Studio — платформа для построения собственных AI-агентов и чат-ботов. Организация настраивает бота, который обходит указанный сайт (часто собственный) для построения базы знаний — по официальной документации Microsoft, поведение краулинга настраивается через robots.txt и sitemap.xml конкретного сайта, а глубина обхода регулируется настройками самого бота. Это полноценный AI-агент, а не безликий фоновый сканер.
- Copilot Actions (агентная автоматизация в Microsoft 365) — использует обычный User-Agent браузера Edge/Chromium без какого-либо отдельного бот-сигнала. Microsoft официально не публикует отдельный UA для этого типа трафика — то есть значительная часть активности Copilot в принципе невозможно отличить от обычного человека, использующего Edge.
- Веб-браузинг Copilot для AI-ответов (в составе Bing/Windows/M365) — по независимым данным, часто не использует уникальный собственный UA вовсе, а «подсаживается» на существующую инфраструктуру Bing — токены BingPreview и MicrosoftPreview, которые генерируют снимки страниц для визуальных ответов Copilot.
| Параметр | Значение |
| Название | Copilot |
| Оператор | Microsoft — но под этим именем скрывается несколько разных продуктов с разным поведением |
| Роль | Зависит от конкретного механизма: построение базы знаний собственного AI-агента (Copilot Studio), агентная автоматизация без бот-сигнала (Copilot Actions), или снимки страниц для визуальных AI-ответов через инфраструктуру Bing |
| User-Agent / паттерн | copilot — но часть реального Copilot-трафика вообще не содержит этого токена, используя обычный UA Edge/Chromium или соседние токены BingPreview/MicrosoftPreview |
| Ключевая техническая проблема | Фильтрация только по токену «copilot» видит меньшую, а не большую часть реального Copilot-трафика |
| robots.txt | Для Copilot Studio — учитывается штатно как часть настройки источника знаний; для агентной автоматизации без бот-сигнала — неприменимо технически, файл её не «видит» |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы — категория и формулировка риска, вероятно, требуют уточнения (см. раздел 8) |
2. Зачем Copilot приходит на сайт
- если это Copilot Studio — организация (возможно, сама владеющая сайтом) построила AI-агента, которому нужно проиндексировать содержимое конкретного сайта как базу знаний для ответов пользователям;
- если это Copilot Actions/агентная автоматизация — конкретный пользователь Microsoft 365 поручил Copilot задачу, для которой понадобилось обратиться к странице в реальном времени — визит привязан к конкретному действию человека, а не системному расписанию;
- если это визуальный AI-ответ через Bing-инфраструктуру — сайт попал в контекст ответа Copilot на чей-то запрос, и снимок страницы понадобился для иллюстрации ответа.
Типичный кейс: если сайт видит трафик именно с токеном copilot, велика вероятность, что это Copilot Studio — и тогда первый практический вопрос не «как заблокировать», а «не строит ли кто-то из нашей же организации на этом сайте собственного AI-агента».
3. Нагрузка и риски
Формулировка черновика «мини-волны автоматизации без конверсий» может подходить для Copilot Studio при первоначальном построении базы знаний (относительно интенсивный, но разовый или редкий обход), но плохо описывает остальные механизмы Copilot, которые по природе точечны и привязаны к конкретным пользовательским запросам.
Более существенный практический риск, которого нет в черновике: пытаться управлять Copilot-трафиком только через фильтр по токену — значит упускать значительную часть реального объёма, который либо маскируется под обычный Edge/Chromium, либо идёт через соседние токены Bing-инфраструктуры. Ощущение контроля через простое правило User-agent: copilot здесь обманчиво.
4. Как найти Copilot в логах
# Базовый поиск по прямому токену
grep -i "copilot" /var/log/nginx/access.log
# Проверка соседних токенов Bing-инфраструктуры, которые тоже могут относиться к Copilot
grep -iE "bingpreview|microsoftpreview" /var/log/nginx/access.log
# Топ URL
grep -i "copilot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "copilot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Признак Copilot Studio — относительно широкий, но разовый обход (построение базы знаний)
grep -i "copilot" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -lВерификация. Строку UA подделать может любой скрипт. Официального единого списка IP для всего семейства Copilot не найдено — учитывая, что часть трафика вообще не идентифицируется как Copilot технически, полная верификация здесь принципиально ограничена; для видимого по токену трафика смотрите связку UA + IP/ASN + характер обхода:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для Copilot
# Жёсткий запрет — эффективен для Copilot Studio, но не остановит агентную автоматизацию без бот-сигнала
User-agent: copilot
Disallow: /
# Разрешить всё
User-agent: copilot
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы
User-agent: copilot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: это правило реально работает только для той части Copilot-трафика, которая честно идентифицирует себя токеном. Агентная автоматизация Copilot Actions технически неотличима от обычного браузера и не может быть адресно ограничена через robots.txt в принципе.
6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "copilot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=copilot:10m rate=10r/m;
location / {
if ($http_user_agent ~* "copilot") {
limit_req zone=copilot burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} copilot [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- найдите copilot в разделе ботов домена или в /system/bots;
- прежде чем блокировать — уточните, не строит ли кто-то из вашей организации собственного AI-агента на базе Copilot Studio, использующего этот сайт как источник знаний;
- учитывайте ограничение метода: техническая блокировка по UA останавливает только видимую, честно идентифицирующую себя часть Copilot-трафика;
- после изменения сверьте логи: видимые по токену хиты должны уйти в блок/лимит, но общий трафик от Copilot-экосистемы может не измениться заметно, если основной объём шёл через немаркированные каналы.
7. Что делать: короткий алгоритм
- Сначала выясните, какой конкретно механизм Copilot вы видите — Studio, Actions или Bing-инфраструктура — поведение и способ контроля разный;
- Если это Copilot Studio — проверьте, не ваш ли это собственный AI-агент, прежде чем блокировать;
- Не рассчитывайте, что правило по токену «copilot» контролирует весь Copilot-трафик — значительная часть в принципе не идентифицируется;
- Нужен более полный контроль — рассмотрите поведенческий анализ (паттерн запросов, соседние Bing-токены), а не только фильтр по UA;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Стоит пересмотреть запись целиком: «Copilot» в черновике описан как единый бот с формулировкой «оператор не указан публично», хотя оператор известен (Microsoft), а реальная сложность в том, что под этим именем скрывается несколько разных механизмов с разным поведением и разной применимостью robots.txt. Рекомендую либо разделить запись на несколько (по аналогии с тем, как в этой энциклопедии разведены facebookexternalhit / meta-externalfetcher / FacebookBot для Meta), либо явно указать в самой статье на многосоставную природу этого токена, чтобы читатель не рассчитывал на контроль, которого простое правило по UA обеспечить не может.
| Бот / сосед | Кластер | Комментарий |
| BingPreview / MicrosoftPreview | Не в базе TrafficVeil, но стоит знать | Соседние токены той же Bing-инфраструктуры, которые Copilot использует для визуальных снимков — часто более информативны, чем сам «copilot» |
| Bingbot | Не в базе TrafficVeil, но стоит знать | Классический поисковый краулер Microsoft, отдельный от агентных механизмов Copilot |
| Meta ExternalFetcher | Прочие краулеры и сервисы (см. отдельную статью) | Похожая ситуация «один оператор — несколько разных ботов с разными задачами», уже разведённая для Meta |
| ChatGPT-User | AI и LLM-краулеры | Для контраста — у OpenAI отдельные механизмы имеют собственные, чётко задокументированные UA, в отличие от текущей ситуации с Copilot |
9. Стратегия allow/deny для Copilot
| Ситуация | Действие |
| Обнаружен Copilot Studio, вероятно свой | Проверить у своей команды, прежде чем блокировать |
| Обнаружен Copilot Studio, точно посторонний | Disallow + запрет в TrafficVeil, это остановит именно этот механизм |
| Беспокойство об агентной автоматизации Copilot Actions | Учитывать, что UA-блокировка технически не решает эту задачу — трафик не идентифицируется |
| Нужен более полный контроль над Copilot-экосистемой | Поведенческий анализ и мониторинг соседних Bing-токенов, а не только фильтр по «copilot» |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и характер обхода |