SuperBot: универсальное имя без единого хозяина

Строка superbot в логах — редкий случай, когда сам черновик честно признаётся: «универсальный идентификатор в различных краулинг-системах и зеркалах». Это правда, и как раз поэтому пометка «нежелательный» с единой рекомендацией для всех случаев здесь не работает — независимая проверка в специализированном каталоге ботов подтверждает: за именем SuperBot не стоит один публично раскрытый оператор.

Что известно о SuperBot на самом деле

Специализированный каталог ботов (Rankly Agent Directory) прямо классифицирует SuperBot как «generic data scraper без публично идентифицированного оператора»: намерение варьируется от случая к случаю — где-то это легитимное исследование, где-то полезный агрегатор, где-то откровенно недобросовестный сбор данных. SuperBot точно не поисковый краулер — на позиции сайта в Google или Яндексе он не влияет никак.

Почему единая пометка «нежелательный» здесь не подходит

Раз даже профильные каталоги ботов признают отсутствие единого оператора у этого имени, то и рекомендация «запрет или жёсткий rate-limit по умолчанию» не может быть универсально верной — под этим же именем могут скрываться совершенно разные по намерениям источники. Прагматичный подход, который рекомендуют специализированные каталоги: относиться к неверифицированным операторам как к недоверенному трафику по умолчанию, но решение принимать по конкретному поведению, а не по одному лишь имени.

Как оценивать визиты SuperBot на практике

# Базовый поиск
grep -i "superbot" /var/log/nginx/access.log

# Какие URL вычитывает — глубина и системность обхода
grep -i "superbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "superbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Регулярность — строит ли бот индекс или следит за конкретным изменением
grep -i "superbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Строка UA легко подделывается, поэтому «трафик заявляет себя SuperBot» — не то же самое, что «трафик действительно SuperBot». Для более сильных гарантий проверяйте обратный DNS или дожидайтесь публикации официальных IP-диапазонов оператором, если такой найдётся:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt и блокировка через TrafficVeil

# Осторожный вариант по умолчанию: наблюдать и ограничивать
User-agent: superbot
Disallow: /

# Если нагрузка минимальна и решено не блокировать превентивно
User-agent: superbot
Allow: /

TrafficVeil: при неясном намерении безопаснее начать с rate-limit, а не с полной блокировки, — это сохраняет доступ для потенциально легитимного случая, но снижает нагрузку от возможного недобросовестного скрапинга. Влияние на классическое SEO минимально в любом случае — SuperBot не является поисковым краулером.

Что в итоге делать с SuperBot