Безымянный br-crawler: когда молчание оператора — уже сигнал

Короткое имя — br-crawler — и почти полное отсутствие данных о том, кто за ним стоит. Такое сочетание само по себе показательно: устойчивой публичной документации оператора и IP-feed для этого токена не существует. Разумный подход — классифицировать как нежелательную автоматизацию, пока не найдётся веская причина думать иначе.

Параметры

Что делать в отсутствие данных об операторе

Общий принцип для таких токенов: сначала наблюдение, потом решение. Прежде чем банить, стоит хотя бы недолго последить за паттерном — глубину обхода, соблюдает ли бот разумную частоту запросов, обращается ли к чувствительным разделам. Если поведение выглядит агрессивным или ресурсоёмким без понятной пользы — это и есть достаточное основание для блокировки, даже без установленного имени компании за токеном. Короткие, «безымянные» названия вроде br-crawler — частый признак экспериментального или узкоспециализированного скрипта, который никогда не рассчитывал на широкую известность и, соответственно, не проходил через типичный процесс «компания публикует официальную страницу для вебмастеров». Это не автоматически означает злой умысел, но и не даёт повода доверять токену по умолчанию.

Нагрузка

По сводке TrafficVeil — порядка 36 тысяч запросов. Сам по себе объём не выдающийся, но при отсутствии подтверждённого оператора это не повод расслабляться: имеет смысл зафиксировать текущий уровень как базовую линию и сверяться с ней при следующих проверках.

Контроль

grep -i "br-crawler" /var/log/nginx/access.log

User-agent: br-crawler
Disallow: /

if ($http_user_agent ~* "br-crawler") {
    return 403;
}

Что ещё стоит проверить перед блокировкой

• Разброс IP-адресов — один источник или обращения приходят из разных сетей под одним и тем же UA
• Соблюдает ли токен собственный же тестовый Disallow — временно ограничьте один раздел и посмотрите, уйдёт ли бот оттуда
• Не совпадает ли активность по времени с каким-то внутренним процессом компании (тестирование, мониторинг), о котором просто забыли сообщить

Если после проверки ничего не проясняется, а польза так и не находится — можно смело закрывать доступ: непрозрачность оператора сама по себе достаточная причина не оставлять токен на allow «на всякий случай».