YisouSpider — краулер, связанный с китайским поиском Shenma (SM.CN / 神马) и экосистемой UC/Alibaba. Индексирует страницы для мобильного китайского поиска, который обслуживает сотни миллионов пользователей. Для сайтов без CN-стратегии обычно не даёт пользы; robots.txt часто недостаточно — нужен deny на сервере.
Что такое YisouSpider
| Параметр | Значение |
|---|---|
| User-Agent (токен) | YisouSpider |
| Типичные строки | YisouSpider; Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36; бывают mobile-варианты |
| Впервые замечен | Около 2013 года; заметно активизировался с сентября 2019 |
| Оператор / экосистема | Shenma / UC — Alibaba-связанный китайский поиск, мобильный фокус |
| Назначение | Индексация для поиска Shenma; публичных подтверждений использования данных для обучения ИИ-моделей нет |
| Официальный компактный IP-feed | ❌ Обычно нет; исторически наблюдались диапазоны 42.120.160–161, 42.156.136–139/.254, 106.11.152–159 (принадлежат Alibaba Advertising) — не официальный список, а полевое наблюдение |
| Соблюдение robots.txt | Ненадёжно (много отчётов об игноре Disallow); официального метода верификации нет — совпадение строки UA в логах лишь подсказка, не доказательство |
| Влияние на Google/Yandex | Нет прямой связи |
Техническая аномалия, замеченная в полевых логах
Один из вебмастеров, годами наблюдавший этот трафик, зафиксировал странность: после каждого заблокированного запроса (кроме самого robots.txt) бот повторно запрашивал файл errorstyles.css — а этот файл обычно нужен только настоящему браузеру, отрисовывающему страницу ошибки для живого человека, а не автоматическому краулеру. Такое поведение стоит держать в уме как дополнительный диагностический сигнал: если видите похожую аномалию под этим UA, это повод присмотреться к трафику внимательнее.
Рядом в логах (китайские краулеры)
| Бот | Экосистема | Комментарий |
|---|---|---|
| YisouSpider | Shenma / UC | Эта статья |
| Baiduspider | Baidu | rDNS *.baidu.com |
| Sogou web spider | Sogou | rDNS *.crawl.sogou.com |
| EasouSpider / EtaoSpider | CN mobile/shopping | Часто банят тем же правилом |
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Кому и когда есть смысл разрешать
Если у сайта есть реальная китаеязычная аудитория или цель выйти на этот рынок, попадание в индекс Shenma — не формальность: индексированные страницы показываются как обычные кликабельные результаты поиска, создавая прямой канал реферального трафика от пользователей мобильного поиска в Китае. Блокировка полностью убирает сайт из этой выдачи. Если такой аудитории или цели нет, прямой пользы от визитов действительно не будет.
Нагрузка
По сводке TrafficVeil (март–июнь 2026, июнь по 14.06) паттерн yisouspider — порядка 161 тысячи запросов (март ~19 тыс., апрель ~36 тыс., май ~72 тыс., июнь ~34 тыс.). Сверьте июль–август перед жёстким баном.
Логи
grep -i "YisouSpider" /var/log/nginx/access.log
grep -iE "YisouSpider|EasouSpider|EtaoSpider" /var/log/nginx/access.log | \
awk '{print $1}' | sort | uniq -c | sort -rn | headrobots.txt
User-agent: YisouSpider
Disallow: /
User-agent: EasouSpider
Disallow: /
User-agent: EtaoSpider
Disallow: /Только сигнал. Для реального эффекта — сервер/TrafficVeil.
Сервер и TrafficVeil
if ($http_user_agent ~* "YisouSpider|EasouSpider|EtaoSpider") {
return 403;
}TrafficVeil: найдите yisouspider — при отсутствии CN-SEO запретить; на Google/Yandex не влияет.
Рекомендации
- Нет Shenma/CN-стратегии — Disallow + 403
- Нужен Shenma — Allow, мониторьте нагрузку; учитывайте масштаб аудитории (сотни миллионов пользователей мобильного поиска)
- Не путайте с Baidu/Sogou — разные операторы, разная верификация
- Не режьте Googlebot широким *
- При подозрении на спуфинг ищите техническую аномалию вроде повторного запроса errorstyles.css после блокировки — реальный бот так себя не ведёт
Стратегия
| Цель | Действие |
|---|---|
| Убрать CN-краул Shenma | Deny UA (+ соседние Easou/Etao при необходимости) |
| Оставить для CN mobile search | Allow + rate-limit |
Частые вопросы
Какую аудиторию обслуживает поиск, для которого работает YisouSpider?
Существует ли официальный список IP для верификации YisouSpider?
Что за странность с файлом errorstyles.css в логах этого бота?
Стоит ли полагаться только на robots.txt для контроля YisouSpider?
Используются ли данные, собранные YisouSpider, для обучения ИИ-моделей?
Когда имеет смысл разрешить YisouSpider вместо блокировки?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.