BackupLand: имя намекает на резервное копирование — но проверьте, не ваш ли это сервис, прежде чем блокировать

BackupLand — один из немногих ботов в этой серии, чьё имя прямо указывает на вероятную функциональную категорию, даже когда конкретный коммерческий оператор не поддаётся уверенной идентификации в открытых источниках. Единственное независимое упоминание, которое удаётся найти, — запись в архивной базе строк User-Agent с 2019 года, без развёрнутого описания назначения или контактов оператора.

Что подсказывает само название

Сочетание «Backup» в имени указывает на категорию инструментов, хорошо представленную и в открытом, и в коммерческом сегменте: краулеры для резервного копирования сайтов. Логика таких инструментов схожа независимо от конкретной реализации — бот рекурсивно обходит сайт по ссылкам, сохраняя снимок каждой страницы (в форматах вроде MHTML или WARC) вместе с её ресурсами: изображениями, стилями, структурой, — чтобы в случае утраты оригинала владелец сайта мог восстановить содержимое из архива. Существует целый класс подобных инструментов, от открытых утилит вроде HTTrack и grab-site до специализированных SaaS-сервисов резервного копирования веб-контента.

Параметры

Важный сценарий, который стоит проверить в первую очередь

В отличие от многих других неопознанных ботов этой серии, здесь есть конкретный, легко проверяемый сценарий, который стоит исключить до принятия решения о блокировке: не заказывал ли кто-то в самой организации-владельце сайта услугу резервного копирования именно этого сайта через сторонний backup-сервис. Если сайт находится на хостинге, который предлагает автоматическое резервное копирование как часть тарифа, или если команда сознательно подключила подобный инструмент для архивирования контента, — блокировка этого бота может незаметно сломать процесс, о существовании которого администратор, реагирующий на строку в логах, может даже не знать.

Как оценить бота, если внутренняя проверка ничего не выявила

• Глубина обхода — рекурсивный обход всего сайта с сохранением ресурсов (изображения, CSS) типичен именно для backup-инструментов, в отличие от точечных запросов;
• Периодичность — регулярные, повторяющиеся с определённым интервалом полные обходы больше похожи на плановое резервное копирование, чем на разовый скрапинг;
• Метод запроса — полная загрузка ресурсов страницы (не только HTML, но и статики) соответствует логике создания архивной копии;
• Принадлежность IP — стабильная инфраструктура одного хостинг-провайдера или облака может подсказать связь с конкретным сервисом.

Как найти бота в логах

# Базовый поиск
grep -i "backupland" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "backupland" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Для проверки принадлежности IP при отсутствии официального фида — стандартная связка whois/rDNS:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Как заблокировать или разрешить

Если внутренняя проверка подтвердила, что это ваш собственный сервис резервного копирования, — явное разрешение:

User-agent: backupland
Allow: /

При отсутствии подтверждённой связи с известной интеграцией и понятной пользы для сайта — запрет по умолчанию:

User-agent: backupland
Disallow: /

if ($http_user_agent ~* "backupland") {
    return 403;
}

На позиции в поисковой выдаче Google, Bing или Яндекса присутствие или отсутствие этого клиента не влияет — это не поисковый краулер ни одной из известных систем.