Строка netarkivindsamling в логах выглядит как случайный технический токен, но на деле это прямая ссылка на официальную страницу национального архива: https://www.kb.dk/netarkivindsamling/. За этим ботом стоит не «инфраструктура платформы», а Королевская библиотека Дании, которая по закону обязана сохранять датскую часть интернета для потомков.
Что такое netarkivindsamling на самом деле
Netarkivet — национальный веб-архив Дании, которым управляет Королевская библиотека (Det Kongelige Bibliotek) в рамках Закона Дании об обязательном экземпляре (Legal Deposit Act). С 2005 года архив собирает всю датскую часть интернета — домены .dk, а также контент на датском языке, созданный датчанами или адресованный датской аудитории («danica») — от двух до четырёх раз в год. Краулер работает на движке Heritrix (том же open-source инструменте, который использует и Internet Archive) и оставляет в UA прямую ссылку на страницу с пояснениями для владельцев сайтов — чтобы те не приняли визит за атаку хакеров.
| Параметр | Значение |
| Название | netarkivindsamling (Netarkivet) |
| User-Agent / паттерн | Mozilla/5.0 (compatible; heritrix/3.4.0 https://www.kb.dk/netarkivindsamling/ ...) |
| Оператор | Королевская библиотека Дании — государственное учреждение, действующее по закону об обязательном экземпляре |
| Категория TrafficVeil | Национальный веб-архив по законодательному мандату (не «прочий сервис») |
| Что делает на сайте | Сохраняет полную копию сайта — включая изображения, скрипты и стили — для архива национального культурного наследия |
| Список IP | ❌ Публичного списка нет; библиотека предлагает владельцам сайтов при необходимости обсудить доступ по IP напрямую |
| robots.txt | Официальный краулер, реагирующий на обращения владельцев сайтов; для платного/защищённого контента библиотека может по закону запросить доступ отдельно |
| Пометка TrafficVeil | Легитимный — особенно для сайтов на .dk или с датской аудиторией |
Зачем netarkivindsamling приходит на сайт
Визит происходит в рамках планового сбора всей датской части интернета — не по подписке конкретного сайта, а по законодательному мандату библиотеки сохранять датское культурное наследие. Если сайт использует домен .dk или ориентирован на датскую аудиторию, попадание в такой сбор — ожидаемое и не зависящее от желания владельца сайта событие.
Почему это не «фоновый шум» и не «сервис, к которому вы подключились»
В отличие от коммерческих сервисов из этой энциклопедии, здесь нет добровольной подписки — архивирование ведётся по закону в интересах сохранения культурного наследия страны. Библиотека прямо просит владельцев сайтов не блокировать доступ к ресурсам, нужным для корректного отображения архивной копии (изображения, скрипты, стили), и отдавать честные коды ответа — например, 404 для несуществующих страниц вместо 200, чтобы архив не считал ошибочные страницы валидными.
Как найти netarkivindsamling в логах
# Базовый поиск
grep -i "netarkivindsamling" /var/log/nginx/access.log
# Какие разделы захватывает архиватор
grep -i "netarkivindsamling" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "netarkivindsamling" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — официального публичного списка адресов библиотека не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант — краулер легитимного архива)
User-agent: heritrix
Allow: /
# Компромисс: закрыть только чувствительные административные разделы
User-agent: heritrix
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: для сайтов с доменом .dk или датской аудиторией разумный вариант по умолчанию — allow без rate-limit: нагрузка ограничена несколькими сборами в год, а сам краулер официально задокументирован государственным учреждением. Для сайтов вне датского контекста визиты маловероятны в принципе — появление такого UA стоит проверить по IP, прежде чем считать источник настоящим Netarkivet.
Что в итоге делать с netarkivindsamling
| Ситуация | Действие |
| Сайт на .dk или с датской аудиторией | Allow без rate-limit — это плановый государственный архивный сбор |
| Сайт вне датского контекста, но UA всё равно встречается | Сверить IP по ASN, прежде чем считать источник легитимным |
| Принципиально не хочется участвовать в архивировании (редкий случай для непубличных разделов) | Disallow точечно для конкретных путей, оставив публичный контент открытым |
| Подозрение на спуфинг UA | Сверять по ASN, а не доверять строке UA |