Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

ChatGLM-Spider в логах: тренировочный краулер китайской ChatGLM

Разбираем ChatGLM-Spider — краулер компании Zhipu AI для тренировки моделей ChatGLM. Показываем характерный паттерн активности, привязанный к релизам новых версий модели, и как настроить allow/deny через официально рекомендованное правило robots.txt.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота ChatGLM-Spider: нежелательный прочие краулеры и сервисы

Если фильтровать access.log по chatglm-spider, часто всплывает целый пласт машинных хитов — это и есть ChatGLM-Spider. Оператор здесь установлен точно: Zhipu AI (Beijing Zhipu Huazhang Technology Co., Ltd.) — китайская AI-компания, основанная в 2019 году, разработчик двуязычной (китайско-английской) серии больших языковых моделей ChatGLM. Краулер задокументирован на официальном сайте компании (zhipu.ai) и в открытых репозиториях на GitHub (github.com/THUDM), впервые был замечен примерно в середине 2023 года — одновременно с релизом ChatGLM-3.

1. Что такое ChatGLM-Spider

Задача краулера — сбор публично доступного веб-контента (статьи, форумы, документация) для тренировки и дообучения серии моделей ChatGLM, включая ChatGLM-4 и более ранние версии. По независимому анализу, у бота характерный неравномерный паттерн активности: трафик заметно возрастает на несколько недель, когда Zhipu AI готовит новую версию модели и собирает свежие данные, а затем стихает в промежутках между релизами — то есть резкий рост трафика от этого бота может напрямую совпадать с новостями о выходе очередной версии ChatGLM.

Название ChatGLM-Spider
User-Agent / паттерн chatglm-spider — токен также встречается в вариациях написания вроде ChatGLM_Spider, ChatGLM.Spider
Оператор Zhipu AI (Beijing Zhipu Huazhang Technology Co., Ltd.) — китайская AI-компания, с 2019 года, разработчик серии моделей ChatGLM
Роль Собирает публичный веб-контент для тренировки и дообучения моделей ChatGLM; данные проходят дедупликацию, фильтрацию персональных данных и оценку качества перед включением в обучающий корпус
Документация / ориентир zhipu.ai и открытые репозитории github.com/THUDM; по независимым данным компания публикует отчёт о прозрачности источников данных, но формального механизма опт-аута кроме robots.txt не предоставляет
Список IP ❌ Официально подтверждённых диапазонов IP не публикуется — для более надёжной верификации, чем совпадение UA, рекомендуется обратный DNS-запрос
robots.txt Официально поддерживается — Zhipu AI прямо рекомендует вебмастерам использовать блок User-agent: ChatGLM-Spider для полного исключения контента
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы

2. Зачем ChatGLM-Spider приходит на сайт

Появление ChatGLM-Spider в access.log означает машинный доступ к сайту для пополнения тренировочного корпуса моделей ChatGLM — это не поисковый краулер и не user-initiated fetcher, а классический тренировочный AI-скрапер: систематический, широкий обход, а не точечные запросы по чьему-то запросу. Заявленная политика оператора — собранный текст используется для статистического языкового моделирования, а не сохраняется дословно как копия защищённого авторским правом контента, хотя формального опт-аута кроме robots.txt компания не предлагает.

  • Какие зоны чаще трогает: публичные URL, иногда API и статику — обход систематический, а не выборочный;
  • Что ищет: текстовый контент, пригодный для языкового моделирования — статьи, форумы, документацию;
  • Чем отличается от браузерного пользователя: нет нормальной сессии, широкие сплошные обходы, концентрированные во времени вокруг циклов подготовки новых версий модели.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует chatglm-spider на пагинации и карточках. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно — но если всплеск совпал по времени с публичным анонсом новой версии ChatGLM, это, вероятно, не совпадение.

3. Нагрузка и риски именно для ChatGLM-Spider

Отдельной строки в публичной сводке top-bot TrafficVeil у chatglm-spider может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. По одному из источников, многопоточный параллельный обход этого краулера способен ощутимо нагружать небольшие сайты — упоминается рекомендуемый оператором лимит около 20 запросов в минуту на IP, хотя эту цифру стоит воспринимать как ориентир, а не подтверждённый официальный стандарт.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти ChatGLM-Spider в логах

Не ищите «просто ботов» — ищите конкретный токен chatglm-spider и рядом смотрите соседей по семейству тренировочных AI-краулеров.

# Базовый поиск
grep -i "chatglm-spider" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "chatglm-spider" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "chatglm-spider" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — проверьте, не совпадает ли всплеск с релизом новой версии ChatGLM
grep -i "chatglm-spider" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк семейства тренировочных AI-краулеров
grep -iE "chatglm-spider|gptbot|claudebot|bytespider|ccbot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP Zhipu AI не публикует, поэтому строка UA сама по себе — лишь подсказка, не доказательство. Для более надёжной проверки используйте обратный DNS-запрос, а не полагайтесь только на совпадение имени.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для ChatGLM-Spider

# Жёсткий запрет
User-agent: ChatGLM-Spider
Disallow: /

# Разрешить всё
User-agent: ChatGLM-Spider
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: ChatGLM-Spider
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow для chatglm-spider, если пользы нет — это прямо задокументированный и официально рекомендованный самим оператором способ исключить контент из тренировочного корпуса. Если бот всё же продолжает обход после блокировки в robots.txt, переходите к rate-limit или полному запрету на уровне сервера, учитывая упоминаемую многопоточность обхода.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "chatglm-spider") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_981f143f00f7_key {
    default "";
    "~*chatglm-spider" $binary_remote_addr;
}
limit_req_zone $tv_ng_981f143f00f7_key zone=tv_ng_981f143f00f7:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_981f143f00f7 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} chatglm-spider [NC]
RewriteRule ^ - [F,L]

TrafficVeil

  • Найдите chatglm-spider в ботах домена или в /system/bots;
  • Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit с учётом возможной многопоточности обхода;
  • Allow только при явной пользе от ChatGLM-Spider — например, если вам важна видимость контента в китайскоязычной AI-экосистеме;
  • После изменения сверьте логи: хиты ChatGLM-Spider должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с ChatGLM-Spider

  • Если пользы нет — Disallow/403 для chatglm-spider, если пользы нет — это официально поддерживаемый оператором способ исключения из тренировочного корпуса;
  • Если польза есть — Allow только при явной пользе от ChatGLM-Spider;
  • Если нагрузка мешает — сначала rate-limit, затем полный запрет, учитывая упоминаемую многопоточность обхода;
  • Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
  • Что будет при блокировке: обычно ничего критичного для SEO не теряете, если это не поисковик и не ваш сервисный агент — блокировка не влияет на индексацию в Google, Bing или Яндекс.

8. С кем не путать ChatGLM-Spider

Бот / сосед Кластер UA Комментарий
GPTBot AI и LLM-краулеры gptbot другой оператор (OpenAI), аналогичная роль тренировочного краулера
ClaudeBot AI и LLM-краулеры claudebot другой оператор (Anthropic)
Bytespider AI и LLM-краулеры bytespider другой оператор (ByteDance), тоже китайская компания, но не связана с Zhipu AI
CCBot AI и LLM-краулеры ccbot другой оператор (Common Crawl), открытый общий веб-корпус
DeepSeekBot AI и LLM-краулеры deepseekbot другой оператор, ещё одна китайская AI-компания

9. Стратегия allow/deny для ChatGLM-Spider

Ситуация Действие
Не хотите участвовать в тренировке ChatGLM Disallow — официально поддерживаемый и рекомендованный оператором способ
Важна видимость в китайскоязычной AI-экосистеме Allow, дополнительных мер не требуется
Нужен доступ, но многопоточный обход перегружает сервер Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil Deny по умолчанию, исключения — точечно
Подозрение на spoofing UA Официальных IP нет — проверять через обратный DNS, не доверять только строке UA
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

ChatGLM-Spider — это поисковый краулер?
Нет, это тренировочный AI-скрапер компании Zhipu AI, который собирает контент для обучения языковых моделей ChatGLM, а не для поисковой индексации.
Почему трафик от этого бота иногда резко растёт?
По независимым наблюдениям, активность заметно усиливается на несколько недель, когда Zhipu AI готовит новую версию модели, а затем стихает между релизами — рост может совпадать с анонсами ChatGLM.
Есть ли официальный способ исключить контент из тренировки?
Да, Zhipu AI прямо рекомендует использовать блок User-agent: ChatGLM-Spider в robots.txt для полного исключения — это официальная, а не предполагаемая позиция оператора.
Публикует ли Zhipu AI список IP-адресов краулера?
Нет, официально подтверждённых диапазонов не найдено, поэтому для более надёжной проверки рекомендуется обратный DNS-запрос, а не только совпадение строки UA.
Может ли этот краулер сильно нагрузить небольшой сайт?
Да, по одному из источников, многопоточный параллельный обход способен ощутимо нагружать небольшие сайты — стоит учитывать это при выборе между rate-limit и полной блокировкой.
Влияет ли блокировка ChatGLM-Spider на позиции сайта в поиске?
Нет, это не связано с классической поисковой индексацией, поэтому блокировка не отражается на позициях в Google, Bing или Яндекс.
#ChatGLM-Spider#Zhipu AI#ChatGLM#AI-краулеры#анализ логов#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота AI Article Writer: легитимный ai и llm-краулеры
Боты·6 мин

AI Article Writer в логах: атрибуция и контроль запросов

Что можно заключить по заявленной строке AI Article Writer, когда оператор не подтверждён. Проверка собственных интеграций, ограничение запросов и границы robots.txt.

Читать
Уникальная иллюстрация бота AI Dungeon: легитимный ai и llm-краулеры
Боты·6 мин

AI Dungeon в логах: известное имя, недоказанный краулер

Разбираем токен AI Dungeon — совпадает с названием известной AI-игры Latitude, но доказательств связи этого трафика с реальной компанией не нашлось. Показываем, почему узнаваемость бренда — не повод доверять боту, как найти его в access.log и настроить deny по умолчанию.

Читать
Уникальная иллюстрация бота AI21 Labs: легитимный ai и llm-краулеры
Боты·6 мин

AI21 Labs в логах: реальная компания, неподтверждённый краулер

Разбираем токен AI21 Labs — принадлежит реальной и серьёзной израильской AI-компании, но без official-документации собственного краулера, в отличие от GPTBot или ClaudeBot. Показываем, почему репутация компании не заменяет верификацию, и как настроить allow/deny.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil