«HuaweiCrawler» в логах? Настоящий бот Huawei называется иначе

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а бот с User-Agent, содержащим слово huaweicrawler. Прежде чем что-либо решать по этому трафику, стоит остановиться на самом названии — оно не совпадает с тем, как Huawei реально называет свой официальный краулер.

Сначала важное: «HuaweiCrawler» — не официальное имя

Официальный, полностью задокументированный краулер Huawei называется PetalBot. У него есть открытая страница для вебмастеров (webmaster.petalsearch.com/site/petalbot), понятное назначение и подтверждённая методика верификации. Токен «HuaweiCrawler» как отдельный официальный продукт ни в одном открытом источнике не встречается. Практический вывод: если в ваших логах фигурирует именно «huaweicrawler», а не «PetalBot», это повод для дополнительной проверки, а не автоматического доверия бренду Huawei — название может быть либо неточной классификацией со стороны инструмента мониторинга, либо признаком того, что кто-то использует имя Huawei некорректно.

Что такое PetalBot — реальный краулер Huawei

Зачем PetalBot приходит на сайт

Petal Search — предустановленный поисковик на устройствах Huawei, который особенно важен в регионах, где сервисы Google недоступны или ограничены: в Китае, на Ближнем Востоке, в Африке и части Европы. Если у вашего сайта есть аудитория с Huawei-устройствами в этих регионах, PetalBot — это способ, которым эти пользователи вас находят.

• Какие зоны чаще трогает: публичные страницы сайта, как у обычного поискового краулера — индексирует широко, а не точечно
• Что ищет: контент для построения поискового индекса Petal Search
• Чем отличается от браузерного пользователя: нет нормальной сессии, регулярные повторные обходы с интервалами, зависящими от частоты обновления контента на сайте

Почему блокировка по умолчанию — рискованная рекомендация

Для настоящего PetalBot полный запрет означает не «уборку фонового шума», а реальную потерю видимости в поиске для пользователей Huawei-устройств. Если ваш сайт (или один из доменов вашей сети) ориентирован на рынки, где Huawei занимает заметную долю — блокировка PetalBot по умолчанию, «на всякий случай», может стоить органического трафика с этих рынков так же, как случайная блокировка Googlebot стоила бы трафика из Google. Прежде чем банить, задайте себе вопрос: есть ли у сайта аудитория, для которой Petal Search — реальный канал обнаружения. Если нет — блокировка оправдана. Если да — это ценный источник, который стоит сохранить.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil может не быть, но у полноценного поискового краулера вроде PetalBot нагрузка обычно умеренная и предсказуемая — сопоставимая с другими поисковыми ботами. Заметные скачки чаще связаны с периодами более глубокого переобхода после существенных изменений на сайте, а не с постоянным фоновым шумом без причины.

Как найти бота в логах и проверить его подлинность

# Ищите оба варианта на случай неточной классификации инструментов мониторинга
grep -iE "huaweicrawler|petalbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -iE "huaweicrawler|petalbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -iE "huaweicrawler|petalbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Верификация — обязательный шаг из-за несовпадения имени

Официальный способ Huawei проверить подлинность — reverse DNS с обязательным forward-подтверждением. Настоящий трафик Petal Search резолвится в хосты, оканчивающиеся на .petalsearch.com.

IP="1.2.3.4"
dig +short -x "$IP"
# ожидаем имя вида *.petalsearch.com
# затем forward-проверка — резолвится ли это имя обратно в тот же IP

Если IP не резолвится в домен Petal Search — перед вами, вероятно, не настоящий краулер Huawei, и его можно смело ограничивать без риска потерять реальную видимость в Petal Search.

robots.txt

# Полный запрет
User-agent: PetalBot
Disallow: /

# Разрешить всё
User-agent: PetalBot
Allow: /

# Компромисс: закрыть служебные разделы
User-agent: PetalBot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "petalbot") {
    return 403;
}

TrafficVeil

• Сначала подтвердите через reverse DNS, что это действительно Petal Search, а не подделка под именем Huawei
• Есть аудитория на Huawei-устройствах в целевых регионах — оставляйте allow, это работающий канал видимости
• Аудитории на Huawei-устройствах нет — можно блокировать без риска для трафика

Рекомендации

• Название токена в ваших логах не совпадает с официальным «PetalBot» — обязательно проверьте через reverse DNS, прежде чем принимать решение по нему
• Подтверждённый PetalBot и есть релевантная аудитория — Allow, блокировка обойдётся потерей видимости на рынках с сильными позициями Huawei
• Подтверждённый PetalBot, но аудитории на Huawei-устройствах нет — можно спокойно ограничивать
• Не путайте с PanguBot — отдельным краулером Huawei для обучения LLM PanGu, никак не связанным с поисковой индексацией