360Spider — основной веб-краулер поиска Haosou (so.com), которым управляет Qihoo 360 — компания, изначально известная в первую очередь как разработчик антивирусного ПО, а поисковик стал более поздним направлением бизнеса, ставшим вторым по популярности поисковиком в Китае. Индексирует страницы для китайской выдачи. Не Googlebot.
Параметры
| Параметр | Значение |
|---|---|
| UA (пример) | Mozilla/5.0 (compatible; 360Spider/3.0; +http://www.so.com/help/help_3_2.html) |
| Токены | 360Spider, 360Spider-Image, 360Spider-Video, HaoSouSpider |
| Docs robots | so.com/help/help_3_2 |
| IP | so.com/help/spider_ip.html (ориентиры: 42.236.10/12/17/101.*, 180.153.236.*, 180.163.220.* + download list) |
| rDNS | ❌ Официально не документируется и не гарантируется — сверяйте IP-лист. Часть независимых трекеров всё же предлагает пробовать reverse+forward DNS как дополнительный, но не подтверждённый оператором сигнал |
| robots.txt | Да (+ расширение Indexpage) |
Один из самых дисциплинированных краулеров в своей категории
По независимым наблюдениям, 360Spider выделяется на фоне многих других китайских краулеров дисциплиной: он сам себя ограничивает по темпу обхода, чтобы не перегружать сервер, и в целом соблюдает правила лучше, чем почти любой другой класс ботов в этой категории. Обход происходит по алгоритмическому расписанию, а не по календарю — частота визитов зависит от популярности сайта, того, как часто обновляется контент, и авторитетности домена.
Нагрузка
По сводке TrafficVeil паттерн 360spider — порядка 9 тысяч запросов.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Контроль
grep -iE "360Spider|HaoSouSpider" /var/log/nginx/access.logUser-agent: 360Spider
Disallow: /if ($http_user_agent ~* "360Spider|HaoSouSpider") {
return 403;
}Рекомендации
- Нужна видимость в 360/CN — Allow + whitelist IP с so.com
- Нет CN-стратегии — Disallow
- На Google не влияет; UA легко подделать — официального метода верификации через rDNS нет, без сверки по IP-листу не доверяйте строке UA
Частые вопросы
С чего начинала компания, которой принадлежит 360Spider?
Можно ли проверить подлинность 360Spider через reverse DNS?
Чем 360Spider отличается по дисциплине от других китайских краулеров?
От чего зависит частота визитов 360Spider на конкретный сайт?
Какие токены входят в семейство 360Spider?
Стоит ли разрешать 360Spider сайту без китайской аудитории?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.