ABEvalBot: неопознанный краулер — что делать, если оператор неизвестен

Если фильтровать access.log по abevalbot, находится краулер с токеном ABEvalBot/0.1 в User-Agent — и, в отличие от большинства ботов в энциклопедии TrafficVeil, у него нет устойчивой публичной документации, официального оператора или заявленного IP-листа. Это редкий случай честно «uncategorized» агента. ABEvalBot встречается в открытых базах бот-агентов как неклассифицированный: его назначение может быть чем угодно — от легитимного исследовательского или оценочного (evaluation) инструмента до неавторизованного скрапера или экспериментального проекта. Ни одна открытая база не подтверждает конкретную компанию-оператора. Оператор: не подтверждён публично. Классификация: в базе TrafficVeil — uncategorized/unknown, базовая рекомендация по умолчанию — deny при отсутствии доказанной пользы.

Параметры

Что означает пометка «uncategorized»

В отличие от ботов с известным оператором, для uncategorized-агентов открытые базы не дают ни цели, ни политики. Под эту категорию попадают как безобидные исследовательские и мониторинговые инструменты, так и неавторизованные скраперы или security-сканеры — со стороны сайта эти сценарии неотличимы без анализа поведения в логах. Отдельно стоит обратить внимание на саму UA-строку: она почти полностью повторяет настоящий Safari (Version/11.1.2 Safari/605.1.15) и лишь добавляет токен ABEvalBot/0.1 в скобки рядом с «compatible». Такая маскировка под браузерный UA — сама по себе не proof of malice, но частый паттерн у ботов, которые пытаются пройти простые UA-based фильтры незамеченными.

Как относиться к ABEvalBot

Описания вроде «evaluation / ML content quality», которые иногда встречаются в сторонних UA-базах, не стоит считать официальными — это догадки, а не подтверждённая информация от оператора. Ориентируйтесь на поведение в логах:

• Глубина обхода — читает ли бот сайт целиком или точечно
• Частота и регулярность визитов
• Интерес к чувствительным разделам (личный кабинет, checkout, API)

При отсутствии подтверждённой пользы для бизнеса политика по умолчанию — deny.

Нагрузка

По сводке TrafficVeil паттерн abevalbot дал порядка 17 тысяч запросов за период март–июнь 2026 (июнь — по 14.06) — заметный объём для полностью неопознанного агента, что само по себе повод присмотреться к нему внимательнее, а не игнорировать как фоновый шум.

Контроль

grep -i "ABEvalBot" /var/log/nginx/access.log

Верификация

Поскольку официального IP-листа или метода подтверждения нет, полагаться на одну лишь строку UA нельзя — её может присвоить себе любой скрипт. Проверяйте ASN и поведение IP-адресов:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt и блокировка

User-agent: ABEvalBot
Disallow: /

if ($http_user_agent ~* "ABEvalBot") {
    return 403;
}

Важно: соблюдение robots.txt само по себе не является доказательством легитимности бота — при подозрительном поведении переходите сразу к блокировке на уровне сервера или в TrafficVeil.

Рекомендации

• Нет доказанной пользы для сайта — Disallow + deny в TrafficVeil
• robots.txt сам по себе не proof of compliance — не полагайтесь только на него
• На SEO в Google/Yandex блокировка ABEvalBot не влияет
• При заметном объёме трафика (как в вашем случае — ~17 тыс. запросов за несколько месяцев) стоит зафиксировать паттерн и пересмотреть решение, если оператор станет публично известен