PetalBot и PanguBot — не путайте поиск Huawei с обучением их ИИ

PetalBot — индексация для Petal Search и рекомендаций Huawei Assistant / AI Search. Оператор: Huawei / Petal Search (Aspiegel). Ниже — факты из публичной документации и практики верификации: полный UA, IP/ASN, robots.txt, с кем не путать и как настроить правила так, чтобы не отрезать соседний полезный агент. Поисковый робот Huawei Petal Search индексирует контент как для PC, так и для мобильных сайтов, формируя базу для поиска и рекомендаций в экосистеме Huawei — включая Huawei Assistant и AI Search на устройствах Huawei.

Что такое PetalBot

Почему это особенно актуально для рынков MENA и Африки

Petal Search — поисковик по умолчанию на устройствах Huawei с Huawei Mobile Services, и её значимость сильно завязана на географию: PetalBot наиболее активен и полезен именно на рынках с высоким проникновением устройств Huawei — Китай, Ближний Восток, Африка и часть Европы. Для сайтов без такой аудитории бот в основном создаёт нагрузку без ощутимой пользы, и rate-limit или блокировка — разумный вариант.

Не путать с PanguBot — это другая задача

У Huawei есть отдельный краулер именно для обучения ИИ-моделей — PanguBot, названный в честь их собственной языковой модели PanGu (свыше 100 млрд параметров). Это принципиально другая функция, чем у PetalBot: PanguBot собирает данные для обучения, а не для поискового индекса и рекомендаций. Официальный способ управления — отдельная секция в robots.txt:

User-agent: PanguBot
Disallow: /

Если нужен поиск Huawei, но не обучение их моделей — разрешайте PetalBot и одновременно запрещайте PanguBot, аналогично тому, как это устроено у Google (Googlebot vs Google-Extended) и Apple (Applebot vs Applebot-Extended).

Как работает и зачем приходит

Индексация для Petal Search и рекомендаций Huawei Assistant / AI Search. PetalBot обходит сайт гибким расписанием, часто запрашивая несколько страниц подряд «всплеском»; активность обычно растёт при обновлении контента или при обновлении индекса, с более тихими периодами между заходами. Блокировка снижает видимость в Petal Search на устройствах Huawei. Если аудитория Huawei нецелевая — Disallow безопасен для классического SEO Google/Yandex. Важный практический нюанс из официальной документации: даже после успешной блокировки может пройти несколько месяцев, прежде чем уже накопленная информация о сайте полностью очистится из базы Petal Search — эффект не мгновенный.

Нагрузка на сервер

По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) petalbot: 10 045 766 запросов суммарно (март 781 084, апрель 1 493 467, май 5 212 188, июнь 2 559 027). Перед жёсткими правилами сверьте июль–август в аналитике TrafficVeil. Смотрите не только RPS, но и path-паттерн: плотный обход каталога без сессий — повод для rate-limit/deny; точечные хиты под превью/user-fetch — другая политика.

Обнаружение в логах и IP

grep -i "petalbot" /var/log/nginx/access.log
grep -i "petalbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
grep -i "petalbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Примеры наблюдаемых/публикуемых префиксов (не исчерпывающий allowlist): 114.119.132.0/22, 114.119.136.0/21, 114.119.144.0/22. Учтите: по многолетним полевым наблюдениям вебмастеров, диапазоны Huawei Cloud за эти адреса заметно менялись год от года — не хардкодьте их надолго, перепроверяйте регулярно. Официальный рабочий пример верификации через reverse + forward DNS:

$ host 114.119.128.10
10.128.119.114.in-addr.arpa domain name pointer petalbot-114-119-128-10.petalsearch.com

$ host petalbot-114-119-128-10.petalsearch.com
petalbot-114-119-128-10.petalsearch.com has address 114.119.128.10

Важно: User-Agent легко подделать — для allow/deny связка UA + IP/ASN/официальная проверка через DNS надёжнее одной строки UA.

Дополнительный технический бонус: PetalSpider-Referer

Huawei предоставляет вебмастерам собственный тег «PetalSpider-Referer», который помогает отличать реферальный трафик именно от Petal Search в аналитике — полезно, если хотите точно измерить, какой трафик реально приходит из этого источника, а не смешивать его с общим «прочим» трафиком.

robots.txt

User-agent: petalbot
Disallow: /

User-agent: petalbot
Allow: /

User-agent: petalbot
Disallow: /admin/
Disallow: /cart/
Allow: /

Официально соблюдает robots.txt. Если в семействе есть «полезный» и «вредный» агент — делайте отдельные User-agent блоки и не режьте обоих одним ASN-ban. Помните и про PanguBot — он требует собственной, отдельной секции, если задача разграничить поиск и обучение ИИ.

Nginx / Apache / TrafficVeil

Nginx

if ($http_user_agent ~* "petalbot") {
    return 403;
}

Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} petalbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите petalbot в ботах домена или /system/bots
• Блокировка снижает видимость в Petal Search на устройствах Huawei. Если аудитория Huawei нецелевая — Disallow безопасен для классического SEO Google/Yandex
• Для рынков MENA/Африки взвесьте реальную ценность аудитории Huawei перед блокировкой — там она может быть значимой
• После изменения сверьте логи за 15–60 минут

Рекомендации

• Блокировка снижает видимость в Petal Search на устройствах Huawei. Если аудитория Huawei нецелевая — Disallow безопасен для классического SEO Google/Yandex
• Не полагайтесь только на robots.txt для всей семьи Huawei без разбора — PetalBot и PanguBot решают разные задачи
• Не баньте весь ASN AS136907, если в семье есть нужный бот (поиск важен, обучение — нет, или наоборот)
• Обновляйте диапазоны IP по cron — они меняются заметнее, чем у многих других крупных операторов
• Сверяйте свежую статистику TrafficVeil, не только сводку март–июнь 2026

С кем не путать

Стратегия