HanaleiBot: что говорит о происхождении бота его собственный «тестовый» хвост в User-Agent

HanaleiBot — относительно свежий след в мире неопознанных краулеров: по независимым наблюдениям сообщества, впервые как систематическая проблема бот был зафиксирован в апреле 2026 года, когда его заметили за методичным обходом контента сайтов сразу с нескольких IP-адресов инфраструктуры AWS. Официального оператора, страницы политики или объяснения назначения у бота как не было, так и нет — но происхождение хотя бы отчасти прослеживается по тому, как он сам себя называет в заголовках запроса.

Что выдаёт строка «runid=beta-stage-integration-test»

Самая содержательная деталь во всём этом бото — не имя HanaleiBot, а хвост строки User-Agent: runid=beta-stage-integration-test. Такая формулировка типична для внутренних CI/CD и тестовых пайплайнов разработки — «идентификатор прогона» и явное указание, что это бета-версия интеграционного теста, а не финальный продукт. Это наводит на правдоподобную (хотя и не подтверждённую официально) версию: HanaleiBot может быть тестовым или staging-компонентом чьей-то внутренней инфраструктуры — краулером, который кто-то развернул на AWS в рамках отладки собственного продукта и, вероятно, забыл или не успел ограничить его целевой периметр обхода только внутренними/тестовыми ресурсами, в результате чего он оказался виден на сторонних публичных сайтах.

Параметры

Почему «тестовый след» не делает бота безобиднее

Даже если гипотеза о staging-происхождении верна, это не повод автоматически относиться к боту снисходительнее. Тестовая или отладочная природа трафика — не то же самое, что согласие владельца сайта на этот трафик: чей-то незавершённый или недостаточно ограниченный внутренний краулер, случайно выпущенный на прод-обход публичного веба, создаёт для стороннего сайта ровно ту же нагрузку и те же вопросы об использовании данных, что и любой другой неопознанный скрапер, — вне зависимости от того, было ли это осознанным решением оператора или побочным эффектом чужой отладки.

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов hanaleibot на подключённых доменах составил порядка 15 тысяч за март–июнь 2026 года (июнь — по 14 число). Для бота, который по косвенным признакам может быть staging-компонентом чужой инфраструктуры, а не полноценным продуктом, это заметный объём — который сам по себе является дополнительным аргументом в пользу блокировки по умолчанию, а не выжидательной позиции.

Как найти бота в логах

grep -i "HanaleiBot" /var/log/nginx/access.log

Поскольку официального списка IP нет, а строка UA (включая её показательный «тестовый» хвост) в принципе может быть скопирована и подделана любым сторонним скриптом, для оценки происхождения конкретных запросов стоит проверять принадлежность IP через whois — особенно учитывая, что первоначальные наблюдения указывали именно на инфраструктуру AWS, широко используемую как легитимными сервисами, так и произвольными скрейперами:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Как заблокировать

При отсутствии подтверждённого оператора, официальной документации и понятной пользы для сайта — запрет по умолчанию:

User-agent: HanaleiBot
Disallow: /

if ($http_user_agent ~* "HanaleiBot") {
    return 403;
}

На позиции в поисковой выдаче Google, Bing или Яндекса присутствие или отсутствие HanaleiBot не влияет. Учитывая заметный для «неопознанного бета-теста» объём трафика и отсутствие какой-либо официальной коммуникации от предполагаемого оператора, блокировка по умолчанию остаётся наиболее взвешенной позицией — с готовностью пересмотреть её, если оператор когда-либо публично раскроет себя и назначение бота.