Bytespider: как заблокировать AI-краулер ByteDance, не потеряв превью в TikTok

Bytespider — агрессивный краулер общего назначения компании ByteDance. Его используют для сбора веб-данных под AI-продукты (в т.ч. семейство Doubao) и контентные/индексационные пайплайны экосистемы ByteDance/Toutiao. Это не TikTokSpider: превью ссылок в TikTok делает отдельный агент. Именно Bytespider чаще всего даёт в логах «ночные волны без конверсий» и попадает в топы самых блокируемых AI-ботов. Ниже — как отличить его от TikTokSpider, что известно про IP/ASN, почему одного robots.txt часто мало, и как запретить Bytespider, не убив превью в TikTok.

Что такое Bytespider

Почему блокировка Bytespider почти всегда безболезненна

В отличие от части AI-краулеров, которые в обмен на индексацию присылают сайту реальный трафик (например, Perplexity показывает ссылку на источник в ответах и приводит переходы), у Bytespider такого механизма нет. Собранные данные уходят на обучение внутренних моделей ByteDance «в одну сторону» — эквивалента публичного ответного сервиса, который бы цитировал и приводил трафик с вашего сайта, не существует. Это значит, что для подавляющего большинства сайтов блокировка Bytespider не создаёт видимого компромисса: вы не теряете реферальный трафик, которого и так не было.

Bytespider vs TikTokSpider

Если запретить оба UA одним правилом или вырезать ASN ByteDance целиком, сайт потеряет превью при шеринге в TikTok. Для гэмблинг-партнёрок, медиа и e-commerce, которые ждут трафик из соцшеров, это уже не «ничего не потеряете».

Риск подделки UA

Независимые наблюдатели фиксировали случаи, когда сторонние скрипты подделывали строку Bytespider, чтобы замаскироваться под ByteDance. При аномальном трафике под этим UA — особенно если поведение (глубина обхода, набор запрашиваемых URL) не похоже на типичный Bytespider — стоит проверить IP через reverse DNS, а не сразу доверять строке.

Нагрузка на сервер

По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) bytespider — один из лидеров: порядка 10,3 млн запросов суммарно (март ~487 тыс., апрель ~2,4 млн, май ~5,9 млн, июнь ~1,5 млн). Пик в мае как раз иллюстрирует «волну»: много 200 OK, обход каталога/пагинации, нет роста реальных конверсий. Для сравнения: tiktokspider в той же выборке ~2,6 млн и с другим паттерном (превью). Не лечите нагрузку Bytespider запретом TikTokSpider. Свежесть: перед жёстким баном сверьте июль–август 2026 в ClickHouse/аналитике TrafficVeil по вашим доменам.

Обнаружение в логах

grep -i "Bytespider" /var/log/nginx/access.log
grep -i "spider-feedback@bytedance.com" /var/log/nginx/access.log

# Отделить семью ByteDance
grep -iE "Bytespider|TikTokSpider|Doubaobot" /var/log/nginx/access.log | \
  sed -n 's/.*"\([^"]*\)".*/\1/p' | sort | uniq -c | sort -rn

grep -i "Bytespider" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
grep -i "Bytespider" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Помимо основного токена, встречаются вариации: строчными буквами bytespider, а также Bytedance и упоминания zhanzhang.toutiao.com в отдельных строках UA. Настраивая regex-правила на edge или в WAF, матчите все варианты, а не только основной токен — иначе часть трафика проскользнёт мимо блокировки.

Верификация и IP

• Официального полного «Bytespider-only» IP feed + публичной opt-out формы для веб-мастеров по сути нет
• Сетевые ориентиры: AS396986, AS138699; часть запросов может идти с облаков — IP-only блок ненадёжен
• Не блокируйте весь ASN «чтобы убить Bytespider», если оставляете TikTokSpider для превью
• При подозрении на спуфинг — проверяйте reverse DNS, а не только IP-диапазон
• Практический контроль: UA Bytespider + поведение (плотный crawl) + запрет на edge (TrafficVeil/WAF)

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt

# Превью TikTok оставляем
User-agent: TikTokSpider
Allow: /

# AI/общий краулер ByteDance режем
User-agent: Bytespider
Disallow: /

User-agent: Doubaobot
Disallow: /

Порядок: отдельные секции на каждый UA. Allow для TikTokSpider не отменяет Disallow для Bytespider и наоборот. После изменения robots.txt проверяйте access.log — у Bytespider compliance бывал неровным.

Управление на уровне сервера

Nginx

if ($http_user_agent ~* "Bytespider") {
    return 403;
}
if ($http_user_agent ~* "Doubaobot") {
    return 403;
}
# TikTokSpider сюда не добавляйте, если нужны превью

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Bytespider [NC]
RewriteRule ^ - [F,L]
RewriteCond %{HTTP_USER_AGENT} Doubaobot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Запретите Bytespider (и при необходимости Doubaobot) в ботах домена / /system/bots
• TikTokSpider оставьте разрешённым, если важны шеры
• Не включайте слепой ASN-ban ByteDance без исключения превью-агента
• Сверьте логи: волны Bytespider должны уйти в блок

Рекомендации

• Для большинства сайтов вне Doubao/Китая — блокируйте Bytespider на robots.txt и на edge
• Не смешивайте с TikTokSpider — иначе потеряете превью в TikTok
• Не надейтесь только на robots.txt — compliance неоднозначный
• IP/ASN — вспомогательный сигнал, не единственный рычаг; при аномалиях проверяйте reverse DNS на предмет спуфинга
• После бана проверьте, что в логах не остался обход под тем же ASN с другим UA семьи ByteDance

С кем не путать (семья ByteDance)

Сводная стратегия