Microsoft Preview стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Превью ссылок в соцсетях».
Компонент Microsoft для rich-вставок ссылок — получает метаданные страницы для embed в сообщении. Типичный сценарий: пользователь отправил ссылку в мессенджер или редактор постов.
Оператор (по косвенным признакам): не указан публично / определяется по UA и поведению. По метке TrafficVeil бот скорее легитимный: решение allow/deny принимайте по бизнес-пользе, а не «на всякий случай».
1. Что такое Microsoft Preview
Microsoft Preview забирает Open Graph/метаданные, чтобы показать превью ссылки в соцсети или мессенджере. Категория в энциклопедии TrafficVeil: Превью ссылок в соцсетях (легитимный).
| Параметр | Значение |
|---|---|
| Название | MicrosoftPreview |
| User-Agent / паттерн | microsoftpreview |
| Оператор | не указан публично / определяется по UA и поведению |
| Роль | MicrosoftPreview забирает Open Graph/метаданные, чтобы показать превью ссылки в соцсети или мессенджере. |
| Документация / ориентир | Публичная документация зависит от оператора; опирайтесь на UA + поведение + ASN |
| Список IP | ❌ Редко бывает отдельный полный список именно для этого UA; проверяйте ASN/официальные диапазоны оператора и не доверяйте только строке UA |
| robots.txt | Крупные операторы чаще соблюдают; технические клиенты и user-initiated fetchers — не всегда |
| Пометка TrafficVeil | Легитимный / Превью ссылок в соцсетях |
2. Зачем Microsoft Preview приходит на сайт
MicrosoftPreview забирает Open Graph/метаданные, чтобы показать превью ссылки в соцсети или мессенджере.
- Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги;
- Что ищет: контент, метаданные, availability или ссылочный граф — в логике категории «Превью ссылок в соцсетях»;
- Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.
Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует <code>microsoftpreview</code> на пагинации и карточках. После rate-limit/запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить.
3. Нагрузка и риски именно для MicrosoftPreview
Отдельной строки в публичной сводке top-bot TrafficVeil у microsoftpreview может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи увидят «голую» ссылку без картинки и описания.
Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.
Практический риск: При блокировке пользователи увидят «голую» ссылку без картинки и описания.
4. Как найти Microsoft Preview в логах
Не ищите «просто ботов» — ищите конкретный токен microsoftpreview и рядом смотрите соседей по семейству.
# Базовый поиск
grep -i "microsoftpreview" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "microsoftpreview" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "microsoftpreview" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "microsoftpreview" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "microsoftpreview|bot" /var/log/nginx/access.log | wc -lВерификация
Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL. Если оператор публикует диапазоны — сверяйте их; если нет, опирайтесь на поведение и политику TrafficVeil.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для MicrosoftPreview
# Жёсткий запрет
User-agent: microsoftpreview
Disallow: /
# Разрешить всё
User-agent: microsoftpreview
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: microsoftpreview
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: Disallow/403 для microsoftpreview, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "microsoftpreview") {
return 403;
}
limit_req_zone $binary_remote_addr zone=microsoftpreview:10m rate=10r/m;
location / {
if ($http_user_agent ~* "microsoftpreview") {
limit_req zone=microsoftpreview burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} microsoftpreview [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите
microsoftpreview/ MicrosoftPreview в ботах домена или в/system/bots; - Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной пользе от MicrosoftPreview;
- После изменения сверьте логи: хиты MicrosoftPreview должны уйти в блок/лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с MicrosoftPreview
- Если пользы нет — Disallow/403 для microsoftpreview, если пользы нет;
- Если польза есть — Allow только при явной пользе от MicrosoftPreview;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко
User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot; - Что будет при блокировке: Ломаются карточки шеринга. Блокируйте только если превью принципиально не нужны.
8. С кем не путать MicrosoftPreview
| Бот / сосед | Кластер | UA | Комментарий |
|---|---|---|---|
| ArenaUnfurlBot | Превью ссылок в соцсетях | arenaunfurlbot |
легитимный |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | bufferlinkpreviewbot |
легитимный |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | clickuplinkunfurler |
легитимный |
| Facebook External Hit | Превью ссылок в соцсетях | facebookexternalhit |
легитимный |
| LMArenaUnfurlBot | Превью ссылок в соцсетях | lmarenaunfurlbot |
легитимный |
9. Стратегия allow/deny для Microsoft Preview
| Ситуация | Действие |
|---|---|
| Нужна польза от оператора (не указан публично / определяется по UA и поведению) | Allow + закрыть /admin /cart /api |
| Только мешает и жрёт ресурсы | Disallow + запрет в TrafficVeil |
| Нужен доступ, но пики по ночам | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и поведение |