«Copilot» — обманчиво простое название: у Microsoft одновременно существует несколько разных механизмов под этим брендом с принципиально разным поведением, и токен copilot в логах не указывает однозначно ни на один из них. Хуже того: значительная часть реального трафика Copilot вообще не несёт никакого узнаваемого бот-сигнала — она неотличима от обычного браузера Edge. Прежде чем настраивать правило, стоит разобраться, с каким именно Copilot вы имеете дело.
1. Что такое Copilot на самом деле — точнее, «какие Copilot»
Под одним брендом Microsoft скрывается как минимум три разных механизма с разным профилем обхода:
- Microsoft Copilot Studio — платформа для построения собственных AI-агентов и чат-ботов. Организация настраивает бота, который обходит указанный сайт (часто собственный) для построения базы знаний — по официальной документации Microsoft, поведение краулинга настраивается через robots.txt и sitemap.xml конкретного сайта, а глубина обхода регулируется настройками самого бота. Это полноценный AI-агент, а не безликий фоновый сканер.
- Copilot Actions (агентная автоматизация в Microsoft 365) — использует обычный User-Agent браузера Edge/Chromium без какого-либо отдельного бот-сигнала. Microsoft официально не публикует отдельный UA для этого типа трафика — то есть значительная часть активности Copilot в принципе невозможно отличить от обычного человека, использующего Edge.
- Веб-браузинг Copilot для AI-ответов (в составе Bing/Windows/M365) — по независимым данным, часто не использует уникальный собственный UA вовсе, а «подсаживается» на существующую инфраструктуру Bing — токены BingPreview и MicrosoftPreview, которые генерируют снимки страниц для визуальных ответов Copilot.
| Параметр | Значение |
| Название | Copilot |
| Оператор | Microsoft — но под этим именем скрывается несколько разных продуктов с разным поведением |
| Роль | Зависит от конкретного механизма: построение базы знаний собственного AI-агента (Copilot Studio), агентная автоматизация без бот-сигнала (Copilot Actions), или снимки страниц для визуальных AI-ответов через инфраструктуру Bing |
| User-Agent / паттерн | copilot — но часть реального Copilot-трафика вообще не содержит этого токена, используя обычный UA Edge/Chromium или соседние токены BingPreview/MicrosoftPreview |
| Ключевая техническая проблема | Фильтрация только по токену «copilot» видит меньшую, а не большую часть реального Copilot-трафика |
| robots.txt | Для Copilot Studio — учитывается штатно как часть настройки источника знаний; для агентной автоматизации без бот-сигнала — неприменимо технически, файл её не «видит» |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы — категория и формулировка риска, вероятно, требуют уточнения (см. раздел 8) |
2. Зачем Copilot приходит на сайт
- если это Copilot Studio — организация (возможно, сама владеющая сайтом) построила AI-агента, которому нужно проиндексировать содержимое конкретного сайта как базу знаний для ответов пользователям;
- если это Copilot Actions/агентная автоматизация — конкретный пользователь Microsoft 365 поручил Copilot задачу, для которой понадобилось обратиться к странице в реальном времени — визит привязан к конкретному действию человека, а не системному расписанию;
- если это визуальный AI-ответ через Bing-инфраструктуру — сайт попал в контекст ответа Copilot на чей-то запрос, и снимок страницы понадобился для иллюстрации ответа.
Типичный кейс: если сайт видит трафик именно с токеном copilot, велика вероятность, что это Copilot Studio — и тогда первый практический вопрос не «как заблокировать», а «не строит ли кто-то из нашей же организации на этом сайте собственного AI-агента».
3. Нагрузка и риски
Формулировка черновика «мини-волны автоматизации без конверсий» может подходить для Copilot Studio при первоначальном построении базы знаний (относительно интенсивный, но разовый или редкий обход), но плохо описывает остальные механизмы Copilot, которые по природе точечны и привязаны к конкретным пользовательским запросам.
Более существенный практический риск, которого нет в черновике: пытаться управлять Copilot-трафиком только через фильтр по токену — значит упускать значительную часть реального объёма, который либо маскируется под обычный Edge/Chromium, либо идёт через соседние токены Bing-инфраструктуры. Ощущение контроля через простое правило User-agent: copilot здесь обманчиво.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти Copilot в логах
# Базовый поиск по прямому токену
grep -i "copilot" /var/log/nginx/access.log
# Проверка соседних токенов Bing-инфраструктуры, которые тоже могут относиться к Copilot
grep -iE "bingpreview|microsoftpreview" /var/log/nginx/access.log
# Топ URL
grep -i "copilot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "copilot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Признак Copilot Studio — относительно широкий, но разовый обход (построение базы знаний)
grep -i "copilot" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l
Верификация. Строку UA подделать может любой скрипт. Официального единого списка IP для всего семейства Copilot не найдено — учитывая, что часть трафика вообще не идентифицируется как Copilot технически, полная верификация здесь принципиально ограничена; для видимого по токену трафика смотрите связку UA + IP/ASN + характер обхода:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для Copilot
# Жёсткий запрет — эффективен для Copilot Studio, но не остановит агентную автоматизацию без бот-сигнала
User-agent: copilot
Disallow: /
# Разрешить всё
User-agent: copilot
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы
User-agent: copilot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: это правило реально работает только для той части Copilot-трафика, которая честно идентифицирует себя токеном. Агентная автоматизация Copilot Actions технически неотличима от обычного браузера и не может быть адресно ограничена через robots.txt в принципе.
6. Блокировка вручную и через TrafficVeil
Nginx:
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "copilot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_3ea125d0bff3_key {
default "";
"~*copilot" $binary_remote_addr;
}
limit_req_zone $tv_ng_3ea125d0bff3_key zone=tv_ng_3ea125d0bff3:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_3ea125d0bff3 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} copilot [NC]
RewriteRule ^ - [F,L]
TrafficVeil:
- найдите copilot в разделе ботов домена или в /system/bots;
- прежде чем блокировать — уточните, не строит ли кто-то из вашей организации собственного AI-агента на базе Copilot Studio, использующего этот сайт как источник знаний;
- учитывайте ограничение метода: техническая блокировка по UA останавливает только видимую, честно идентифицирующую себя часть Copilot-трафика;
- после изменения сверьте логи: видимые по токену хиты должны уйти в блок/лимит, но общий трафик от Copilot-экосистемы может не измениться заметно, если основной объём шёл через немаркированные каналы.
7. Что делать: короткий алгоритм
- Сначала выясните, какой конкретно механизм Copilot вы видите — Studio, Actions или Bing-инфраструктура — поведение и способ контроля разный;
- Если это Copilot Studio — проверьте, не ваш ли это собственный AI-агент, прежде чем блокировать;
- Не рассчитывайте, что правило по токену «copilot» контролирует весь Copilot-трафик — значительная часть в принципе не идентифицируется;
- Нужен более полный контроль — рассмотрите поведенческий анализ (паттерн запросов, соседние Bing-токены), а не только фильтр по UA;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Стоит пересмотреть запись целиком: «Copilot» в черновике описан как единый бот с формулировкой «оператор не указан публично», хотя оператор известен (Microsoft), а реальная сложность в том, что под этим именем скрывается несколько разных механизмов с разным поведением и разной применимостью robots.txt. Рекомендую либо разделить запись на несколько (по аналогии с тем, как в этой энциклопедии разведены facebookexternalhit / meta-externalfetcher / FacebookBot для Meta), либо явно указать в самой статье на многосоставную природу этого токена, чтобы читатель не рассчитывал на контроль, которого простое правило по UA обеспечить не может.
| Бот / сосед | Кластер | Комментарий |
| BingPreview / MicrosoftPreview | Не в базе TrafficVeil, но стоит знать | Соседние токены той же Bing-инфраструктуры, которые Copilot использует для визуальных снимков — часто более информативны, чем сам «copilot» |
| Bingbot | Не в базе TrafficVeil, но стоит знать | Классический поисковый краулер Microsoft, отдельный от агентных механизмов Copilot |
| Meta ExternalFetcher | Прочие краулеры и сервисы (см. отдельную статью) | Похожая ситуация «один оператор — несколько разных ботов с разными задачами», уже разведённая для Meta |
| ChatGPT-User | AI и LLM-краулеры | Для контраста — у OpenAI отдельные механизмы имеют собственные, чётко задокументированные UA, в отличие от текущей ситуации с Copilot |
9. Стратегия allow/deny для Copilot
| Ситуация | Действие |
| Обнаружен Copilot Studio, вероятно свой | Проверить у своей команды, прежде чем блокировать |
| Обнаружен Copilot Studio, точно посторонний | Disallow + запрет в TrafficVeil, это остановит именно этот механизм |
| Беспокойство об агентной автоматизации Copilot Actions | Учитывать, что UA-блокировка технически не решает эту задачу — трафик не идентифицируется |
| Нужен более полный контроль над Copilot-экосистемой | Поведенческий анализ и мониторинг соседних Bing-токенов, а не только фильтр по «copilot» |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и характер обхода |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Copilot — это один конкретный бот?
Почему блокировка по токену «copilot» не решает проблему полностью?
Что делать, если в логах виден именно токен copilot?
Работает ли robots.txt против Copilot?
Какие ещё токены стоит проверить, помимо «copilot»?
Стоит ли пересмотреть эту запись в базе TrafficVeil?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.