Exabot стал «неопознанным» не потому, что исчез оператор

В логах строка Exabot чаще всего относится к семейству краулеров Exalead (Dassault Systèmes): классический search/enterprise crawler с почти 25-летней историей. Параллельно на рынке появился ExaBot от exa.ai (AI search / semantic API) с похожим токеном — всегда смотрите URL внутри User-Agent, прежде чем принимать решение.

Два разных мира

Параметры (классический Exabot)

Кто такой Exalead и почему это важно для оценки трафика

Exalead — французская поисковая компания, основанная в 2000 году; в лучшие годы самостоятельно индексировала свыше 16 миллиардов страниц как полноценная альтернатива Google. После поглощения инженерным гигантом Dassault Systèmes компания свернула публичный потребительский поиск и сместилась в сторону enterprise-решений и вертикальных поисковых систем — с явным уклоном в техническую, инженерную и B2B-тематику. Эта эволюция напрямую объясняет актуальный статус бота: один из современных каталогов ботов теперь классифицирует классический Exabot как «uncategorized» — не потому, что оператор стал анонимным (он точно известен), а потому что активность краулера в открытом вебе стала заметно менее частой и предсказуемой на фоне сворачивания публичного поиска. Если видите Exabot в логах сегодня, это, скорее всего, остаточная или узкоспециализированная активность, а не полноценный постоянный обход, каким он был в 2000-х–2010-х.

На что обратить внимание в семье ботов

Отдельно стоит следить за вариантом Exabot-Thumbnails — по независимым обзорам, у него репутация более ресурсоёмкого краулера, чем требуется для генерации превью, то есть именно он чаще создаёт заметную нагрузку, а не основной индексирующий Exabot.

Нагрузка

По сводке TrafficVeil паттерн exabot — порядка 10 тысяч запросов (март–июнь 2026, июнь по 14.06). Отдельно в сводке может быть паттерн exa — не смешивайте без проверки полной строки UA, это, вероятно, совершенно другой продукт с другим оператором.

Контроль

grep -iE "Exabot|ExaBot|exa\.ai" /var/log/nginx/access.log

User-agent: Exabot
Disallow: /

User-agent: ExaBot
Disallow: /

User-agent: ExaSearchBot
Disallow: /

if ($http_user_agent ~* "Exabot|ExaBot") {
    return 403;
}

Рекомендации

• Нет французской/enterprise-стратегии и не нужна видимость в Exa AI search — Disallow всех вариантов токенов + deny
• Нужна видимость в конкретном продукте — Allow только нужный UA, определив принадлежность строго по URL внутри строки, а не по одному совпадению слова «exa»
• Особое внимание — Exabot-Thumbnails, если беспокоит именно нагрузка, а не сам факт индексации
• На Google не влияет — оба продукта независимы от классической поисковой выдачи