Baiduspider — семейство краулеров поисковика Baidu. Основной робот индексирует страницы для выдачи Baidu; есть варианты для картинок, видео, JS-рендеринга, мобильной версии и мини-программ. Для сайтов без китайской аудитории это часто лишний трафик; для CN-SEO — критичный бот. Блокировка убирает или ослабляет видимость в Baidu, на Google/Yandex напрямую не влияет. Важный нюанс: по материалам для вебмастеров Baidu не опирайтесь на meta noindex как на защиту от индексации — независимые источники подтверждают, что Baidu этот тег вообще не поддерживает. Для исключения из обхода/индекса надёжен только Disallow в robots.txt (и серверные правила).
Что такое Baiduspider
| Параметр | Значение |
|---|---|
| User-Agent (токен) | Baiduspider (+ варианты Baiduspider-image, Baiduspider-video, Baiduspider-render, Baiduspider-mobile, Baiduspider-smartapp и др.) |
| Типичная строка | Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) |
| Оператор | Baidu |
| Назначение | Индексация и связанные задачи поиска Baidu |
| Официальная документация | Baidu webmaster / help (spider.html, вопросы про идентификацию робота) |
| Соблюдение robots.txt | Да (с оговорками по отдельным UA вроде video/cpro); часть вебмастеров отмечает неполную стабильность соблюдения по сравнению с Googlebot |
| Верификация | rDNS на *.baidu.com или *.baidu.jp (часто Baiduspider-*.crawl.baidu.com), затем forward DNS |
| Статический IP-лист | ❌ Устойчивого практического списка нет (адреса меняются) — сообщество сходится на rDNS-проверке как основном методе, а не на статичных диапазонах |
| Влияние на SEO | Да для Baidu; на Google/Yandex — нет прямой связи |
Семья Baidu и соседи
| Бот | Задача | Примечание |
|---|---|---|
| Baiduspider | Основной web crawl | Главный токен для robots |
| Baiduspider-image | Картинки | Можно Allow точечно при общем Disallow |
| Baiduspider-video | Видео | Ограниченная поддержка части robots-правил (см. docs Baidu) |
| Baiduspider-render | JS-рендеринг страниц | Отдельный токен, актуален для сайтов на JS-фреймворках |
| Baiduspider-mobile | Мобильная версия | Отдельный токен для мобильного обхода |
| Baiduspider-smartapp | Мини-программы Baidu | Отдельный токен для экосистемы Baidu Smart Apps |
| Sogou web spider | Поиск Sogou | Другой оператор, другой rDNS |
| YisouSpider | Поиск UC / Alibaba-экосистема | Отдельный китайский краулер |
Нагрузка на сервер
По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) паттерн baiduspider набрал порядка 242 тысяч запросов (март ~33 тыс., апрель ~42 тыс., май ~104 тыс., июнь ~62 тыс.). Свежесть: сверьте июль–август в TrafficVeil.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Обнаружение и верификация
grep -i "Baiduspider" /var/log/nginx/access.log
host 123.125.66.120
# пример из docs: Baiduspider-123-125-66-120.crawl.baidu.com
# Обязательно forward-проверка имени обратно на IPЕсли hostname не оканчивается на baidu.com / baidu.jp — это не Baidu (спуф). Не полагайтесь только на UA: полевые наблюдения вебмастеров годами фиксируют многочисленные попытки выдать себя за Baiduspider, не проходящие проверку rDNS.
Практический совет для WAF и rate-limit
Если на сайте уже настроена защита от ботов (WAF, автоматический rate-limit по паттернам UA), строку Baiduspider стоит заранее и явно занести в allowlist, если Baidu-SEO вам нужен — иначе легитимный краулер может попасть под общие антибот-правила наравне со случайным спуфером.
robots.txt
# Полный запрет семьи (официальный пример логики)
User-agent: Baiduspider
Disallow: /
# Разрешить только картинки в /image/
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
# Замедление / частичный доступ
User-agent: Baiduspider
Disallow: /admin/
Disallow: /cart/
Allow: /Закрытие через Baiduspider влияет на видимость во всех связанных результатах Baidu, о которых пишет их help. Отдельные спец-UA (cpro и др.) могут жить по иным соглашениям.
Управление на уровне сервера
Nginx
# Осознанный полный бан (нет CN-стратегии)
if ($http_user_agent ~* "Baiduspider") {
return 403;
}Apache
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите baiduspider
- Нет Baidu-SEO — запретить; есть — Allow и не банить верифицированные IP
- Спуф без *.baidu.com/*.baidu.jp — в блок
Рекомендации
- Нужен Baidu — Allow, следите за нагрузкой, используйте Baidu Ziyuan/webmaster
- Сайт не для Китая — Disallow + deny; на Google/Yandex не повлияет
- Не полагайтесь только на noindex для Baidu — используйте robots Disallow, это единственный надёжный способ
- Верифицируйте rDNS перед массовыми IP-банами «китайских» сетей
- Не режьте Googlebot широким *
- Если используете рендеринг на JS-фреймворке и важна корректная индексация в Baidu — отдельно проверьте политику для Baiduspider-render
Сводная стратегия
| Цель | Действие |
|---|---|
| Видимость в Baidu | Allow Baiduspider; точечные Disallow |
| Убрать CN-краул без стратегии | Disallow + 403/deny |
| Только картинки | Disallow общий + Allow Baiduspider-image |
| Спуф | Блок при провале rDNS baidu.com/jp |
Частые вопросы
Сколько разных краулеров входит в семейство Baiduspider?
Работает ли мета-тег noindex для блокировки индексации в Baidu?
Публикует ли Baidu постоянный список IP для верификации?
Как отличить настоящий Baiduspider от подделки?
Нужно ли отдельно настраивать WAF или rate-limit для Baiduspider?
Можно ли разрешить Baiduspider-image, но запретить основной обход сайта?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.