Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

AI21 Labs в логах: реальная компания, неподтверждённый краулер

Разбираем токен AI21 Labs — принадлежит реальной и серьёзной израильской AI-компании, но без official-документации собственного краулера, в отличие от GPTBot или ClaudeBot. Показываем, почему репутация компании не заменяет верификацию, и как настроить allow/deny.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота AI21 Labs: легитимный ai и llm-краулеры

Если фильтровать access.log по ai21 labs, часто всплывает целый пласт машинных хитов — это и есть AI21 Labs. В отличие от многих соседей по категории «AI и LLM-краулеры», здесь хотя бы название компании реальное и известное: AI21 Labs — израильская AI-компания (Тель-Авив, основана в 2017 году), стоящая за моделями Jurassic-1, Jurassic-2, инструментом Wordtune и открытой моделью Jamba (2024). Но реальность компании — это не то же самое, что подтверждённое существование краулера под этим именем.

1. Что такое AI21 Labs

AI21 Labs — серьёзный игрок в AI-индустрии: компанию основали Йоав Шохам, Ори Гошен и Амнон Шашуа (последний также известен как основатель Mobileye), в августе 2023 года AI21 закрыла раунд Series C на $155 млн с участием Nvidia среди инвесторов. В отличие от многих обобщённых токенов в этой энциклопедии, здесь есть настоящая компания с настоящими продуктами. Проблема в другом: в открытых, хорошо поддерживаемых реестрах AI-краулеров (например, GitHub-проект ai-robots-txt/ai.robots.txt, который специально собирает задокументированные AI-краулеры со ссылками на первоисточники) явного упоминания собственного краулера AI21 Labs с таким UA не встретилось — в отличие от, скажем, GPTBot, ClaudeBot или PerplexityBot, у которых есть официальные страницы именно про краулер.

Название AI21 Labs
User-Agent / паттерн ai21 labs
Оператор Компания реальная — AI21 Labs, Тель-Авив, с 2017 года; но подтверждения, что именно эта компания официально управляет краулером под таким UA, не найдено
Роль По шаблону категории — наполнение AI-индекса или обучающей/retrieval-выборки; но без first-party документации от AI21 Labs нельзя подтвердить, что это официальный краулер компании, а не что-то ещё, использующее её имя
Документация / ориентир ai21.com — сайт компании существует и это реальный бизнес, но отдельной страницы про краулер для вебмастеров, подобной документации OpenAI или Anthropic про их боты, не обнаружено
Список IP ❌ Официального списка нет
robots.txt Поведение не задокументировано официально — для сравнения, у крупных AI-компаний вроде OpenAI и Anthropic это прямо прописано, здесь такой страницы нет
Пометка TrafficVeil Легитимный / AI и LLM-краулеры — присвоено по шаблону категории; сама компания реальна, но её прямая связь именно с этим краулер-трафиком не подтверждена

2. Зачем AI21 Labs приходит на сайт

Шаблонное объяснение категории — визиты чаще связаны с наполнением AI-индекса или обучающей/retrieval-выборки. Это правдоподобно в общем смысле: AI21 Labs как серьёзная AI-компания вполне может собирать данные для своих моделей (Jurassic, Jamba). Но раз официальной документации именно про краулер нет, нельзя быть уверенным, что весь трафик с этим UA — действительно их официальная инфраструктура, а не имитация: реальное и хорошо узнаваемое имя компании — удобное прикрытие для маскировки менее благовидного трафика, как и в случае с другими узнаваемыми AI-брендами.

  • Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога;
  • Что ищет: контент, метаданные, availability или ссылочный граф — конкретная цель не подтверждена официальной документацией;
  • Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует ai21 labs на пагинации и карточках. Прежде чем расслабленно ставить allow «раз это известная и уважаемая AI-компания», стоит вспомнить: репутация компании не переносится автоматически на конкретный UA без first-party подтверждения, что именно этот трафик — их официальный краулер.

3. Нагрузка и риски именно для AI21 Labs

Отдельной строки в публичной сводке top-bot TrafficVeil у ai21 labs может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: риск отдать уникальные тексты, описания товаров и статьи в чужой AI-контур без кликов и атрибуции. Для этого токена стоит добавить конкретный практический риск: из-за отсутствия official-документации сложнее оценить, стоит ли за конкретным визитом настоящая инфраструктура AI21 Labs или кто-то, использующий её узнаваемое имя.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти AI21 Labs в логах

Не ищите «просто ботов» — ищите конкретный токен ai21 labs и обязательно смотрите полную строку UA целиком.

# Базовый поиск
grep -i "ai21 labs" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "ai21 labs" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "ai21 labs" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "ai21 labs" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверить полную строку UA — есть ли ссылка на ai21.com
grep -io "ai21[^\"]*" /var/log/nginx/access.log | sort -u | head

# Сравнить с настоящими, официально документированными AI-краулерами
grep -iE "gptbot|claudebot|perplexitybot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт, и здесь это особенно вероятно: узнаваемое имя реальной, уважаемой компании снижает подозрительность у невнимательного наблюдателя. Официального списка IP нет. Обязательно смотрите полную строку UA целиком на предмет ссылки на ai21.com — у настоящих документированных AI-краулеров такая ссылка есть всегда.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для AI21 Labs

# Жёсткий запрет
User-agent: ai21 labs
Disallow: /

# Разрешить всё
User-agent: ai21 labs
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: ai21 labs
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для ai21 labs, если пользы нет. Поскольку официальной страницы про соблюдение robots.txt от AI21 Labs не найдено (в отличие, например, от OpenAI или Anthropic, у которых такая документация есть), не рассчитывайте на предсказуемое поведение — если агент игнорирует правило, переходите к nginx/Apache или запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "ai21 labs") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_24c4041ef798_key {
    default "";
    "~*ai21 labs" $binary_remote_addr;
}
limit_req_zone $tv_ng_24c4041ef798_key zone=tv_ng_24c4041ef798:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_24c4041ef798 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ai21 labs [NC]
RewriteRule ^ - [F,L]

TrafficVeil

  • Найдите ai21 labs в ботах домена или в /system/bots;
  • Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
  • Allow только при явной, подтверждённой пользе — и не полагайтесь на репутацию компании как на автоматическую гарантию подлинности конкретного трафика;
  • После изменения сверьте логи: хиты ai21 labs должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с AI21 Labs

  • Если пользы нет — Disallow/403 для ai21 labs, если пользы нет;
  • Если польза есть — Allow только при явной пользе от AI21 Labs;
  • Если нагрузка мешает — сначала rate-limit, затем полный запрет;
  • Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
  • Что будет при блокировке: скорее всего потеряете цитирования/упоминания в AI-ответах этого оператора, но разгрузите origin и сохраните контент; при этом полной уверенности, что блокируемый трафик — действительно официальная инфраструктура AI21 Labs, а не имитация, у вас нет.

8. С кем не путать AI21 Labs

Бот / сосед Кластер UA Комментарий
GPTBot AI и LLM-краулеры gptbot официально документированный краулер OpenAI, есть first-party страница
ClaudeBot AI и LLM-краулеры claudebot официально документированный краулер Anthropic
PerplexityBot AI и LLM-краулеры perplexitybot официально документированный поисковый краулер Perplexity
AI Article Writer AI и LLM-краулеры ai article writer обобщённый токен без реальной компании за именем вообще
AI Dungeon AI и LLM-краулеры ai dungeon реальный продукт (Latitude), но тоже без подтверждённого краулера под этим именем

9. Стратегия allow/deny для AI21 Labs

Ситуация Действие
Нужна подтверждённая польза, полная строка UA ссылается на ai21.com Allow точечно, с дополнительной верификацией
Только мешает и жрёт ресурсы Disallow + запрет в TrafficVeil
Нужен доступ, но пики по ночам Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil Deny по умолчанию, исключения — точечно
Подозрение на spoofing UA Повышенное — узнаваемое имя реальной компании без официальной документации краулера скорее повод для проверки, чем для доверия
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

AI21 Labs — реальная компания или выдуманное имя?
Реальная — израильский разработчик AI-моделей (Jurassic, Jamba), основан в 2017 году, привлёк $155 млн в раунде Series C с участием Nvidia.
Значит ли это, что боту можно доверять?
Не автоматически — реальность компании не то же самое, что подтверждённое существование именно её официального краулера под этим UA, а такой документации не нашлось.
Чем это отличается от GPTBot или ClaudeBot?
У GPTBot и ClaudeBot есть официальные first-party страницы конкретно про краулер и его поведение — у AI21 Labs такой публичной страницы для вебмастеров не найдено.
Как проверить, действительно ли это трафик AI21 Labs?
Смотреть полную строку User-Agent целиком — ссылка на официальный домен ai21.com станет куда более сильным сигналом, чем сам по себе узнаваемый бренд.
Стоит ли по умолчанию блокировать этот токен?
Да, при отсутствии дополнительной верификации это разумный default — как и для других AI-токенов без официальной документации краулера.
Что теряет сайт при блокировке?
Вероятно, потенциальные цитирования в продуктах AI21 Labs, если трафик действительно их — но без official-подтверждения оценить эту потерю сложно.
#AI21 Labs#Jurassic#Jamba#AI-краулеры#анализ логов#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота AI Article Writer: легитимный ai и llm-краулеры
Боты·6 мин

AI Article Writer в логах: атрибуция и контроль запросов

Что можно заключить по заявленной строке AI Article Writer, когда оператор не подтверждён. Проверка собственных интеграций, ограничение запросов и границы robots.txt.

Читать
Уникальная иллюстрация бота AI Dungeon: легитимный ai и llm-краулеры
Боты·6 мин

AI Dungeon в логах: известное имя, недоказанный краулер

Разбираем токен AI Dungeon — совпадает с названием известной AI-игры Latitude, но доказательств связи этого трафика с реальной компанией не нашлось. Показываем, почему узнаваемость бренда — не повод доверять боту, как найти его в access.log и настроить deny по умолчанию.

Читать
Уникальная иллюстрация бота ChatGLM-Spider: нежелательный прочие краулеры и сервисы
Боты·6 мин

ChatGLM-Spider в логах: тренировочный краулер китайской ChatGLM

Разбираем ChatGLM-Spider — краулер компании Zhipu AI для тренировки моделей ChatGLM. Показываем характерный паттерн активности, привязанный к релизам новых версий модели, и как настроить allow/deny через официально рекомендованное правило robots.txt.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil