Bne.es_bot: краулер Национальной библиотеки Испании и почему robots.txt его не остановит

Если фильтровать access.log по bne.es-bot, часто всплывает целый пласт машинных хитов — это и есть bne.es_bot, краулер Национальной библиотеки Испании (Biblioteca Nacional de España, BNE). В отличие от большинства ботов в этой категории, bne.es_bot — не анонимный сборщик данных. Это официальный инструмент испанской национальной библиотеки для архивирования веба в рамках обязательного экземпляра (depósito legal) — законодательно закреплённой обязанности сохранять испанский цифровой контент как часть культурного наследия. Оператор: Biblioteca Nacional de España — государственное учреждение, автономный орган при Министерстве культуры Испании. Классификация: в базе TrafficVeil помечен как нежелательный с точки зрения нагрузки на origin, но по сути это легитимный государственный архивный краулер, а не серый/анонимный бот.

Что такое bne.es_bot

Зачем bne.es_bot приходит на сайт

BNE архивирует испанский веб через несколько типов сборов:

• Массовые сборы домена .es — раз в год, с невысокой глубиной обхода, но по максимально широкому кругу доменов
• Селективные сборы — более частый и глубокий обход отобранных сайтов, например около 30 новостных ресурсов собираются ежедневно
• Событийные сборы — вокруг значимых событий национального масштаба (выборы, важные общественные события)

Собираются не только сайты в зоне .es, но и испаноязычные/испанские по содержанию сайты в других зонах (.com, .org, .edu и т.д.) — если контент представляет интерес для сохранения испанского цифрового наследия, домен значения не имеет. Технически архивация построена на NetarchiveSuite (NAS) — открытом инструменте, изначально разработанном Королевской библиотекой Дании, — с использованием краулера Heritrix, созданного Internet Archive и применяемого большинством национальных библиотек мира.

Главное отличие: bne.es_bot игнорирует robots.txt

Это ключевой момент, который меняет всю логику блокировки. BNE прямо заявляет: робот **не соблюдает директивы robots.txt**, поскольку действует по законному мандату на сбор обязательного экземпляра онлайн-публикаций (Real Decreto 635/2015, статья 3). Практическое следствие: любые правила Disallow в robots.txt для bne.es_bot не имеют смысла — бот их просто не учитывает. Единственные рабочие способы ограничить обход — блокировка на уровне сервера (nginx/Apache) или в TrafficVeil. Если обход мешает работе сайта, у BNE есть официальный канал связи: archivoweb@bne.es — туда можно написать, чтобы обсудить нагрузку или скорректировать параметры сбора.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у bne.es-bot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах. Поскольку Heritrix настроен минимизировать влияние на нормальную работу сайта, резкие всплески нагрузки чаще связаны с массовым годовым сбором .es-домена, а не с постоянным фоновым обходом.

Как найти bne.es_bot в логах

# Базовый поиск
grep -i "bne.es-bot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "bne.es-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "bne.es-bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "bne.es-bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

UA-строка bne.es_bot содержит ссылку на контакт оператора — это надёжнее, чем у большинства безымянных ботов, но подделать саму строку всё равно может любой скрипт. Дополнительно проверяйте IP/ASN:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для bne.es_bot — не сработает

# Формально можно прописать, но бот это правило проигнорирует
User-agent: bne.es-bot
Disallow: /

Как объяснялось выше, полагаться на robots.txt здесь бессмысленно. Если нужно реально ограничить обход — используйте блокировку на уровне сервера или в TrafficVeil, либо обратитесь напрямую в BNE по archivoweb@bne.es.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "bne.es-bot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=bneesbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "bne.es-bot") {
        limit_req zone=bneesbot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} bne.es-bot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите bne.es-bot / bne.es_bot в ботах домена или в /system/bots
• Если нагрузка не критична — можно оставить allow: это государственный архивный краулер, а не коммерческий сборщик данных
• Если нагрузка мешает — rate-limit предпочтительнее полного запрета, учитывая законный характер сбора и годовую периодичность массового обхода
• После изменения сверьте логи: хиты bne.es_bot должны уйти в блок/лимит, а поисковики Google/Yandex остаться без изменений

Рекомендации: что делать с bne.es_bot

• Сайт на испанском языке или в зоне .es и нагрузка не критична — Allow, это часть национального цифрового наследия Испании, блокировка исключает сайт из архива BNE
• Нагрузка ощутимо мешает работе сайта — сначала rate-limit; при необходимости — прямой контакт с BNE по archivoweb@bne.es, а не только техническая блокировка
• Полный запрет через nginx/Apache/TrafficVeil — крайняя мера, поскольку robots.txt здесь не работает по определению
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot вместе с bne.es_bot

С кем не путать bne.es_bot