Microsoft Preview стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Превью ссылок в соцсетях».
Компонент Microsoft для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов.
Оператор (по косвенным признакам): не указан публично / определяется по UA и поведению. По метке TrafficVeil бот скорее легитимный: решение allow/deny принимайте по бизнес-пользе, а не «на всякий случай».
1. Что такое Microsoft Preview
Microsoft Preview забирает Open Graph/метаданные, чтобы показать превью ссылки в соцсети или мессенджере. Категория в энциклопедии TrafficVeil: Превью ссылок в соцсетях (легитимный).
| Параметр | Значение |
|---|---|
| Название | MicrosoftPreview |
| User-Agent / паттерн | microsoftpreview |
| Оператор | не указан публично / определяется по UA и поведению |
| Роль | MicrosoftPreview забирает Open Graph/метаданные, чтобы показать превью ссылки в соцсети или мессенджере. |
| Документация / ориентир | Публичная документация зависит от оператора; опирайтесь на UA + поведение + ASN |
| Список IP | ❌ Редко бывает отдельный полный список именно для этого UA; проверяйте ASN/официальные диапазоны оператора и не доверяйте только строке UA |
| robots.txt | Крупные операторы чаще соблюдают; технические клиенты и user-initiated fetchers — не всегда |
| Пометка TrafficVeil | Легитимный / Превью ссылок в соцсетях |
2. Зачем Microsoft Preview приходит на сайт
MicrosoftPreview забирает Open Graph/метаданные, чтобы показать превью ссылки в соцсети или мессенджере.
- Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги;
- Что ищет: контент, метаданные, availability или ссылочный граф — в логике категории «Превью ссылок в соцсетях»;
- Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует <code>microsoftpreview</code> на пагинации и карточках. После rate-limit/запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить.
3. Нагрузка и риски именно для MicrosoftPreview
Отдельной строки в публичной сводке top-bot TrafficVeil у microsoftpreview может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи увидят «голую» ссылку без картинки и описания.
Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.
Практический риск: При блокировке пользователи увидят «голую» ссылку без картинки и описания.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти Microsoft Preview в логах
Не ищите «просто ботов» — ищите конкретный токен microsoftpreview и рядом смотрите соседей по семейству.
# Базовый поиск
grep -i "microsoftpreview" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "microsoftpreview" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "microsoftpreview" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "microsoftpreview" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "microsoftpreview|bot" /var/log/nginx/access.log | wc -l
Верификация
Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL. Если оператор публикует диапазоны — сверяйте их; если нет, опирайтесь на поведение и политику TrafficVeil.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для MicrosoftPreview
# Жёсткий запрет
User-agent: microsoftpreview
Disallow: /
# Разрешить всё
User-agent: microsoftpreview
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: microsoftpreview
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: Disallow/403 для microsoftpreview, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "microsoftpreview") {
return 403;
}
limit_req_zone $binary_remote_addr zone=microsoftpreview:10m rate=10r/m;
location / {
if ($http_user_agent ~* "microsoftpreview") {
limit_req zone=microsoftpreview burst=20 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} microsoftpreview [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите
microsoftpreview/ MicrosoftPreview в ботах домена или в/system/bots; - Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной пользе от MicrosoftPreview;
- После изменения сверьте логи: хиты MicrosoftPreview должны уйти в блок/лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с MicrosoftPreview
- Если пользы нет — Disallow/403 для microsoftpreview, если пользы нет;
- Если польза есть — Allow только при явной пользе от MicrosoftPreview;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко
User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot; - Что будет при блокировке: Ломаются карточки шеринга. Блокируйте только если превью принципиально не нужны.
8. С кем не путать MicrosoftPreview
| Бот / сосед | Кластер | UA | Комментарий |
|---|---|---|---|
| ArenaUnfurlBot | Превью ссылок в соцсетях | arenaunfurlbot |
легитимный |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | bufferlinkpreviewbot |
легитимный |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | clickuplinkunfurler |
легитимный |
| Facebook External Hit | Превью ссылок в соцсетях | facebookexternalhit |
легитимный |
| LMArenaUnfurlBot | Превью ссылок в соцсетях | lmarenaunfurlbot |
легитимный |
9. Стратегия allow/deny для Microsoft Preview
| Ситуация | Действие |
|---|---|
| Нужна польза от оператора (не указан публично / определяется по UA и поведению) | Allow + закрыть /admin /cart /api |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и поведение |
Частые вопросы
Что делает бот MicrosoftPreview?
Опасен ли MicrosoftPreview для сайта?
Как отличить MicrosoftPreview от других ботов?
Нужно ли блокировать MicrosoftPreview?
Хватит ли robots.txt против MicrosoftPreview?
Что будет, если заблокировать MicrosoftPreview?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.