DomainsCrawler: неопознанный бот — что известно и как его контролировать

DomainsCrawler — краулер с UA вида DomainsCrawler/1.0. Устойчивой официальной страницы оператора и публичного IP-feed нет. На позиции в Google/Yandex не влияет.

Параметры

Почему не стоит путать с похожими названиями

В открытых базах ботов встречаются токены с созвучными именами — например, DomainCrawler (без буквы «s» в конце) и DomainsProjectBot, краулер для сбора данных о доменных именах (структура, метаданные, использование доменов). Ни один из них документированно не подтверждён как тот же бот, что скрывается за токеном DomainsCrawler/1.0 в ваших логах — совпадение части названия не повод считать их одним и тем же оператором. Если планируете сверяться со сторонними базами ботов, ищите точное совпадение полной строки UA, а не только по обрывку имени.

Что обычно стоит за такими токенами

Судя по паттерну имени («Domains» + «Crawler»), это, вероятнее всего, один из класса ботов, которые системно обходят массивы доменов для построения баз данных: анализ занятости доменных имён, мониторинг истёкших/освобождающихся доменов, сбор метаданных для доменных регистраторов, оценщиков или брокеров, либо threat-intelligence сервисов, отслеживающих потенциально вредоносные домены. Это не подтверждённый факт про конкретно ваш трафик, а типовая логика ботов с таким названием — полезная гипотеза для проверки, а не готовый ответ.

Нагрузка

По сводке TrafficVeil — порядка 39 тысяч запросов (март ~23 тыс., апрель ~16 тыс.). Проверьте актуальность по свежим месяцам — при отсутствии подтверждённого оператора важно следить, не изменился ли объём резко, что может говорить о смене владельца токена или скрипта.

Расширенный разбор логов

Для непрозрачного токена полезно смотреть не только на факт визита, но и на характер обхода — это часто говорит больше, чем сама строка UA:

# Базовый поиск
grep -i "DomainsCrawler" /var/log/nginx/access.log

# Топ URL — обходит весь сайт или только конкретные разделы (например, whois-подобные страницы)?
grep -i "DomainsCrawler" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP — один источник или разброс по разным сетям под одним UA?
grep -i "DomainsCrawler" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Коды ответа — в основном 200 или много 403/404 на уже неактуальные пути?
grep -i "DomainsCrawler" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Если запросы концентрируются на главной странице и корневых URL, а не на глубоком контенте — это типично для ботов, которые собирают базовые метаданные о домене (заголовок, наличие сайта, технологии), а не читают весь контент.

Контроль

grep -i "DomainsCrawler" /var/log/nginx/access.log

User-agent: DomainsCrawler
Disallow: /

if ($http_user_agent ~* "DomainsCrawler") {
    return 403;
}

TrafficVeil: запретить по умолчанию, поскольку подтверждённой пользы для сайта нет; не путать с Googlebot и другими подтверждёнными поисковыми ботами — совпадение слова «crawler» в названии ни о чём не говорит.

Что делать, если объём резко вырастет

Для непрозрачных токенов имеет смысл держать отдельное правило мониторинга: если после блокировки объём под этим же UA снова начнёт расти или появится вариация токена (например, DomainsCrawler/2.0) — стоит пересмотреть решение заново, а не считать прежнюю оценку риска окончательной. Обычные краулеры для сбора данных о доменах со временем меняют версии и поведение, не переставая быть тем же самым оператором.