Aranet-SearchBot: что это за бот и стоит ли разрешать ему доступ

Aranet-SearchBot — новый веб-краулер, появившийся в публичных каталогах User-Agent в 2026 году. Он идентифицирует себя токеном Aranet-SearchBot/1.0 и указывает адрес https://aranet.ai/bot.

На момент проверки подробная публичная документация оператора недоступна: страница, указанная непосредственно в User-Agent, не дала нам получить рабочее описание политики краулера. Независимые каталоги также расходятся в классификации: одни относят Aranet-SearchBot к AI search, другие — к обычному search crawler или web scraper. Поэтому наиболее корректный статус для TrafficVeil — неподтверждённый поисковый/AI-краулер с низкой уверенностью идентификации.

Как выглядит User-Agent Aranet-SearchBot

В нескольких независимых каталогах наблюдается одна и та же строка:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Aranet-SearchBot/1.0; +https://aranet.ai/bot) Chrome/131.0.0.0 Safari/537.36

Для обнаружения в логах достаточно токена:

Aranet-SearchBot

При этом полная строка выглядит как Chrome-подобный User-Agent с добавленным идентификатором crawler. Это не означает, что запрос выполняет обычный браузер пользователя.

Когда появился Aranet-SearchBot

Публичные базы User-Agent фиксируют Aranet-SearchBot как сравнительно нового агента. Один из каталогов указывает первое наблюдение в начале марта 2026 года, другой добавил запись в конце марта 2026 года.

Для TrafficVeil это важный признак: по новым ботам часто ещё нет полноценной документации, стабильного списка IP, официальной DNS-схемы и многолетней истории поведения. Поэтому им не стоит автоматически присваивать высокий уровень доверия.

Для чего используется Aranet-SearchBot

Здесь важно отделить наблюдение от подтверждённого факта. Название SearchBot и несколько специализированных каталогов указывают на поисковое назначение. Некоторые базы относят его именно к AI Search и предполагают использование для индексирования, retrieval, поиска источников и актуализации страниц.

Однако подробной доступной документации оператора, которая подтверждала бы конкретные продукты, использование контента для LLM training или механизм цитирования, мы не нашли.

Поэтому не стоит писать, что Aranet-SearchBot:

• точно обучает языковую модель;
• гарантированно используется для AI-ответов;
• обязательно приносит цитирования;
• является традиционным поисковиком с публичной выдачей.

Корректнее говорить: наблюдаемый поисковый/AI-search crawler с пока недостаточно документированным назначением.

Какую нагрузку может создавать Aranet-SearchBot

Даже несколько тысяч запросов не обязательно представляют проблему. Оценивать crawler лучше не по одному общему счётчику, а по характеру обхода.

TrafficVeil стоит анализировать:

• requests per minute;
• requests per second;
• количество уникальных URL;
• повторное скачивание одних страниц;
• долю HTML, API и статических ресурсов;
• объём переданных данных;
• cache HIT/MISS;
• коды 2xx, 3xx, 4xx и 5xx;
• число IP и ASN;
• параллельность обхода.

Если crawler делает умеренный последовательный обход публичных страниц, это один профиль риска. Если тот же UA начинает быстро перебирать технические URL, ситуация совершенно другая.

Как найти Aranet-SearchBot в access.log

Базовый поиск:

grep -i "Aranet-SearchBot" /var/log/nginx/access.log

Топ URL:

grep -i "Aranet-SearchBot" /var/log/nginx/access.log \
| awk '{print $7}' | sort | uniq -c | sort -rn | head -30

Топ IP:

grep -i "Aranet-SearchBot" /var/log/nginx/access.log \
| awk '{print $1}' | sort | uniq -c | sort -rn | head -30

Коды ответа:

grep -i "Aranet-SearchBot" /var/log/nginx/access.log \
| awk '{print $9}' | sort | uniq -c | sort -rn

Чтобы увидеть, сколько разных адресов использовало этот UA:

grep -i "Aranet-SearchBot" /var/log/nginx/access.log \
| awk '{print $1}' | sort -u | wc -l

Почему нельзя доверять только User-Agent

Строка User-Agent является заявлением клиента о собственной личности. Её может скопировать любой HTTP-скрипт. Для Aranet-SearchBot это особенно важно, поскольку публичная схема официальной верификации пока не установлена.

TrafficVeil стоит использовать комбинацию:

1. UA. Совпадает ли известный токен.
2. IP и ASN. Повторяются ли сети между визитами.
3. Reverse DNS. Есть ли стабильный и осмысленный PTR.
4. Fingerprint. Совпадает ли TLS/HTTP-профиль.
5. Поведение. Что именно запрашивает клиент.
6. История. Как меняются IP, частота и набор URL со временем.

Пока оператор не публикует проверяемую инфраструктуру, TrafficVeil не должен маркировать любой Aranet-SearchBot как verified только по UA.

Наблюдаемые IP — не официальный IP feed

Сторонние каталоги уже фиксируют десятки IP, с которых встречался этот User-Agent. Но список наблюдавшихся адресов и официальный список инфраструктуры оператора — разные вещи.

Наблюдаемый IP означает только то, что запрос с таким UA был замечен с данного адреса. Он не доказывает, что адрес принадлежит оператору Aranet, и не гарантирует, что этот диапазон останется постоянным.

Поэтому TrafficVeil полезно разделять поля:

• Observed IPs — адреса из собственной телеметрии;
• Verified IP ranges — только официально подтверждённые диапазоны;
• ASN history — сети, из которых наблюдался агент.

robots.txt для Aranet-SearchBot

Если владелец сайта не хочет разрешать автоматический обход, можно объявить отдельное правило:

User-agent: Aranet-SearchBot
Disallow: /

Для частичного ограничения:

User-agent: Aranet-SearchBot
Disallow: /admin/
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Disallow: /api/

Но на момент проверки нет достаточно надёжной публичной документации, чтобы гарантировать соблюдение Aranet-SearchBot правил robots.txt. Разные сторонние каталоги дают противоречивые сведения.

Поэтому robots.txt следует использовать как декларацию политики. Если доступ нужно прекратить технически, применяйте WAF, reverse proxy или правило TrafficVeil.

Блокировка через Nginx

if ($http_user_agent ~* "Aranet-SearchBot") {
    return 403;
}

Блокировка через Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Aranet-SearchBot [NC]
RewriteRule ^ - [F,L]

Оба примера блокируют заявленный User-Agent. Они не проверяют реального оператора запроса.

Повлияет ли блокировка Aranet-SearchBot на Google или Яндекс

Нет прямой связи. Aranet-SearchBot не является Googlebot или YandexBot. Точечное правило для Aranet-SearchBot не запрещает доступ Google и Яндексу.

Однако если Aranet действительно используется отдельной системой AI search, блокировка потенциально может лишить сайт присутствия или актуальности именно в этой системе. Масштаб такого эффекта пока трудно оценить из-за недостатка публичной информации.

Как отличить нормальный crawl от spoofing

Если клиент называется Aranet-SearchBot, но занимается vulnerability scanning, TrafficVeil должен классифицировать его по фактическому поведению, а не по заявленному имени.

Как обрабатывать Aranet-SearchBot в TrafficVeil

Поскольку данных пока мало, лучший default — не безусловный Allow и не автоматический Deny, а Monitor.

Особенно полезно показывать пользователю уровень уверенности TrafficVeil. Для Googlebot может быть статус Verified, а для Aranet-SearchBot — Observed / Low confidence. Это сразу объясняет, почему система не рекомендует автоматически доверять агенту.

Стоит ли блокировать Aranet-SearchBot

Для сайта, который хочет максимально широко присутствовать в новых поисковых и AI-системах, можно оставить crawler доступным и наблюдать за его поведением.

Если проект не хочет отдавать контент малоизвестным AI/search crawler, прямой бизнес-пользы не видит или бот создаёт лишнюю нагрузку, точечная блокировка является разумной политикой.

При промежуточном сценарии оптимален rate limit: он позволяет не закрывать доступ полностью и одновременно защищает origin от чрезмерного обхода.

Итог

Aranet-SearchBot — новый и пока слабо документированный crawler. Его User-Agent стабильно наблюдается в публичных базах и содержит ссылку на aranet.ai/bot, но доступной подробной документации, официального IP feed и надёжной схемы верификации на момент проверки недостаточно.

Некоторые каталоги относят его к AI Search, другие — к search crawler или scraper. Поэтому TrafficVeil не стоит выдавать предположения за подтверждённые факты.

Оптимальная стратегия — распознавать UA, собирать собственную телеметрию по IP/ASN и fingerprint, анализировать характер обхода и показывать пользователю низкий уровень уверенности идентификации. Allow, Rate Limit или Block уже выбираются исходя из политики сайта и фактической нагрузки.