Netarkivindsamling: архив Дании, а не безымянный бот

Строка netarkivindsamling в логах выглядит как случайный технический токен, но на деле это прямая ссылка на официальную страницу национального архива: https://www.kb.dk/netarkivindsamling/. За этим ботом стоит не «инфраструктура платформы», а Королевская библиотека Дании, которая по закону обязана сохранять датскую часть интернета для потомков.

Что такое netarkivindsamling на самом деле

Netarkivet — национальный веб-архив Дании, которым управляет Королевская библиотека (Det Kongelige Bibliotek) в рамках Закона Дании об обязательном экземпляре (Legal Deposit Act). С 2005 года архив собирает всю датскую часть интернета — домены .dk, а также контент на датском языке, созданный датчанами или адресованный датской аудитории («danica») — от двух до четырёх раз в год. Краулер работает на движке Heritrix (том же open-source инструменте, который использует и Internet Archive) и оставляет в UA прямую ссылку на страницу с пояснениями для владельцев сайтов — чтобы те не приняли визит за атаку хакеров.

Зачем netarkivindsamling приходит на сайт

Визит происходит в рамках планового сбора всей датской части интернета — не по подписке конкретного сайта, а по законодательному мандату библиотеки сохранять датское культурное наследие. Если сайт использует домен .dk или ориентирован на датскую аудиторию, попадание в такой сбор — ожидаемое и не зависящее от желания владельца сайта событие.

Почему это не «фоновый шум» и не «сервис, к которому вы подключились»

В отличие от коммерческих сервисов из этой энциклопедии, здесь нет добровольной подписки — архивирование ведётся по закону в интересах сохранения культурного наследия страны. Библиотека прямо просит владельцев сайтов не блокировать доступ к ресурсам, нужным для корректного отображения архивной копии (изображения, скрипты, стили), и отдавать честные коды ответа — например, 404 для несуществующих страниц вместо 200, чтобы архив не считал ошибочные страницы валидными.

Как найти netarkivindsamling в логах

# Базовый поиск
grep -i "netarkivindsamling" /var/log/nginx/access.log

# Какие разделы захватывает архиватор
grep -i "netarkivindsamling" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "netarkivindsamling" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверяйте IP через ASN — официального публичного списка адресов библиотека не публикует:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (стандартный вариант — краулер легитимного архива)
User-agent: heritrix
Allow: /

# Компромисс: закрыть только чувствительные административные разделы
User-agent: heritrix
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: для сайтов с доменом .dk или датской аудиторией разумный вариант по умолчанию — allow без rate-limit: нагрузка ограничена несколькими сборами в год, а сам краулер официально задокументирован государственным учреждением. Для сайтов вне датского контекста визиты маловероятны в принципе — появление такого UA стоит проверить по IP, прежде чем считать источник настоящим Netarkivet.

Что в итоге делать с netarkivindsamling