Bnf.fr_bot: краулер с законодательным мандатом Франции

bnf.fr_bot — редкий случай в этой энциклопедии, где у бота не просто есть официальный оператор, а есть закреплённое законом право на обход сайта. Это краулер Национальной библиотеки Франции (Bibliothèque nationale de France, BnF), государственного учреждения при Министерстве культуры Франции, которое ведёт архивирование французского веба в рамках французского законодательства об обязательном экземпляре («dépôt légal»).

1. Что такое bnf.fr_bot на самом деле

С 2006 года во Франции действует закон об авторском праве от 1 августа 2006 года (loi DADVSI), закрепивший институт обязательного экземпляра и для интернет-сайтов — он кодифицирован в Кодексе культурного наследия Франции (ст. L131-1–L133-1 и R131-1–R133-1). По этому закону BnF обязана собирать и сохранять цифровые публикации французского происхождения — точно так же, как библиотека веками собирала печатные издания.

Технически обход выполняет Heritrix — тот же открытый краулер, что использует Internet Archive. Официальная страница BnF прямо называет UA-строку: Mozilla/5.0 (compatible; bnf.fr_bot; +http://www.bnf.fr/fr/outils/a.dl_web_capture_robot.html) — с адресом, где объясняется происхождение обхода. Охват — французский веб: домены .fr и материалы, опубликованные во Франции или французскими издателями, вне зависимости от домена.

2. Зачем bnf.fr_bot приходит на сайт

• ежегодный широкий обход («broad crawl») — цель охватить максимум французских сайтов, не обязательно полностью;
• выборочные тематические/точечные обходы — сайты, которые библиотекари отобрали по документальным критериям (выборы, Олимпийские игры, COVID-19, персональные блоги и дневники, активистские сайты), с частотой от раза в год до нескольких раз в день;
• по инициативе владельца сайта — можно самостоятельно предложить свой сайт для архивирования, написав на depot.legal.web@bnf.fr.

Типичный кейс: для сайта на домене .fr или с французским контентом внезапно резко вырастает частота обхода bnf.fr_bot в период выборов или значимого общественного события — это, вероятно, означает, что сайт попал в одну из тематических коллекций BnF, а не признак атаки или неправомерного скрейпинга.

3. Нагрузка и риски

Здесь стоит перевернуть привычную логику черновика: для сайтов в области охвата французского закона об обязательном экземпляре блокировка bnf.fr_bot — это не защита от «нежелательного» трафика, а потенциальное действие против официального требования законодательства Франции («ваше единственное обязательство — не препятствовать сбору»). Для сайтов вне охвата (не на .fr, без французского происхождения контента) обычная логика применима — реальной пользы, как правило, нет, но и риска для контента тоже: цель бота — архивное сохранение, а не republishing или коммерческое использование.

Отдельный практический нюанс: если контент технически недоступен для обхода (за паролем, платной подпиской, за формой доступа) — по официальной позиции BnF владелец сайта ничего не обязан делать; библиотека либо сама свяжется, либо просто пропустит такой контент.

4. Как найти bnf.fr_bot в логах

# Базовый поиск
grep -i "bnf.fr_bot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "bnf.fr_bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "bnf.fr_bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — резкий рост может совпадать со значимым общественным событием
grep -i "bnf.fr_bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. По независимым источникам, официальный обход в прошлом шёл с диапазона вокруг 194.199.7.0/24 (хост вида robot4-depot-legal-web.bnf.fr) — но эти данные не первоисточник и могли устареть, поэтому перед принятием решения стоит перепроверить актуальный ASN самостоятельно:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для bnf.fr_bot

# Технически возможно, но противоречит официальной позиции BnF для сайтов в области охвата
User-agent: bnf.fr_bot
Disallow: /

# Рекомендуемый вариант, особенно для сайтов на .fr или с французским контентом
User-agent: bnf.fr_bot
Allow: /

Важно: даже если в файле стоит Disallow, по свидетельствам из практики бот всё равно может продолжать обход — правовая основа обязательного экземпляра стоит выше добровольного протокола robots.txt.

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "bnf.fr_bot") {
    return 403;
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} bnf.fr_bot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• перед блокировкой определите, находится ли сайт в области охвата (.fr-домен или контент французского происхождения) — для таких сайтов деny может формально идти вразрез с обязательствами по французскому закону;
• для сайтов вне охвата (например, сеть доменов TrafficVeil в других языках/юрисдикциях) — обычная логика «нежелательный, если пользы нет» применима без ограничений;
• если нагрузка от точечных тематических обходов всё же заметна для сайта в области охвата — свяжитесь с BnF по depot.legal.web@bnf.fr, а не блокируйте технически в одностороннем порядке;
• после изменения сверьте логи и, при необходимости, учитывайте, что серверная блокировка технически возможна независимо от юридического статуса запроса.

7. Что делать: короткий алгоритм

• Сайт на .fr или с французским контентом — allow является рекомендацией самой BnF, а не просто «нет вреда»;
• Сайт вне охвата французского закона (большинство международных доменов сети) — обычная логика: пользы почти никогда нет, блокировка безопасна;
• Резкий скачок обхода совпал с общественно значимым событием (выборы, крупное событие) — это ожидаемое поведение тематического сбора BnF, а не аномалия;
• Контент технически недоступен для обхода — по официальной позиции BnF, дополнительных действий не требуется;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит пересмотреть базовую пометку «нежелательный» для bnf.fr_bot: для сайтов в области охвата французского закона об обязательном экземпляре это, по сути, легально обязательный к недопущению блокировки краулер государственного учреждения — статус ближе к «легитимный, специальный правовой статус», чем к обычному «нежелательному прочему сервису». Возможно, стоит завести отдельную под-категорию для национальных архивных ботов с законодательным мандатом (bnf.fr_bot, bl.uk_lddc_bot Британской библиотеки и аналоги) с иной логикой рекомендаций по умолчанию.

9. Стратегия allow/deny для bnf.fr_bot