Anomura: AI-краулер Direqt, а не безымянный «прочий бот»

Если фильтровать access.log по anomura, часто всплывает целый пласт машинных хитов — это и есть Anomura, поисковый краулер компании Direqt. Anomura находит и индексирует страницы, ссылки и метаданные сайтов клиентов Direqt для включения в результаты их AI-поиска. Это ставит бота в одну категорию с PerplexityBot, OAI-SearchBot и подобными AI search crawlers — задача не массовый сбор данных ради стороннего использования, а построение индекса, из которого продукт Direqt может цитировать и ссылаться на источник.

Что такое Anomura

Зачем Anomura приходит на сайт

Anomura выполняет сервисный автоматический обход с идентификатором anomura, собирая контент, метаданные и ссылочный граф — но, в отличие от обычного «прочего краулера», у этого обхода есть конкретная коммерческая цель: построить индекс для AI-поиска Direqt, из которого продукт может ссылаться на ваш сайт как на источник.

• Какие зоны чаще трогает: публичные URL, иногда API и статику
• Что ищет: контент и метаданные для включения в поисковый индекс AI-продукта Direqt
• Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн — типично для регулярного переиндексирования, а не разового визита

Типичный кейс: маркетинг видит всплеск хитов в Метрике/GA, но сессии пустые. Причина — Anomura. Правильная реакция — не «выключить сайт», а сначала оценить, ценна ли для вас потенциальная видимость в AI-поиске Direqt, и только затем точечно настраивать политику.

Стоит ли считать этот трафик пользой

Поскольку Anomura относится к категории AI search crawlers, а не к безымянным сборщикам данных без ясной цели, у allow здесь есть содержательный аргумент: если продукт Direqt цитирует источники в своих ответах, попадание в индекс потенциально может приводить релевантный трафик — по той же логике, что и с другими AI-поисковыми ботами. Насколько это значимо для конкретного сайта, зависит от аудитории продукта Direqt и от того, работаете ли вы уже с AI-search-видимостью как отдельным каналом.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у anomura может не быть, но в категории AI search crawlers такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без прямых конверсий — что ожидаемо для краулера, который переиндексирует контент, а не приводит живых посетителей напрямую. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти Anomura в логах

# Базовый поиск
grep -i "anomura" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "anomura" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "anomura" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "anomura" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Подделать User-Agent может любой скрипт. Официального списка IP для Anomura не найдено, поэтому для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для Anomura

# Жёсткий запрет
User-agent: anomura
Disallow: /

# Разрешить всё
User-agent: anomura
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: anomura
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: поскольку Anomura подтверждённо соблюдает robots.txt, это надёжный и предсказуемый инструмент контроля для этого конкретного бота — не придётся сразу переходить к более жёстким мерам, если правило прописано верно.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "anomura") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=anomura:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "anomura") {
        limit_req zone=anomura burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} anomura [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите anomura / Anomura в ботах домена или в /system/bots
• Есть интерес к видимости в AI-поиске — оставляйте allow
• AI-поисковая видимость не приоритет — можно ставить запрет, robots.txt для этого бота работает надёжно
• После изменения сверьте логи: хиты Anomura должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с Anomura

• Заинтересованы в присутствии в AI-поиске Direqt — Allow, потенциальная польза от цитирования выше, чем у обычного «прочего краулера»
• AI-search-видимость не в приоритете — Disallow через robots.txt, соблюдение подтверждено, жёсткие серверные меры обычно не требуются
• Если нагрузка всё же мешает — rate-limit как промежуточный шаг перед полным запретом
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot