Строка superbot в логах — редкий случай, когда сам черновик честно признаётся: «универсальный идентификатор в различных краулинг-системах и зеркалах». Это правда, и как раз поэтому пометка «нежелательный» с единой рекомендацией для всех случаев здесь не работает — независимая проверка в специализированном каталоге ботов подтверждает: за именем SuperBot не стоит один публично раскрытый оператор.
Что известно о SuperBot на самом деле
Специализированный каталог ботов (Rankly Agent Directory) прямо классифицирует SuperBot как «generic data scraper без публично идентифицированного оператора»: намерение варьируется от случая к случаю — где-то это легитимное исследование, где-то полезный агрегатор, где-то откровенно недобросовестный сбор данных. SuperBot точно не поисковый краулер — на позиции сайта в Google или Яндексе он не влияет никак.
| Параметр | Значение |
| Название | SuperBot |
| User-Agent / паттерн | superbot |
| Оператор | Не идентифицирован публично — подтверждено независимо в специализированном каталоге ботов |
| Категория TrafficVeil | Generic-скрапер данных без единого оператора (не поисковый краулер, влияние на SEO низкое) |
| Что делает на сайте | Варьируется от случая к случаю — оценивать нужно по фактическому поведению в логах |
| Список IP | ❌ Список невозможен в принципе — нет единого подтверждённого оператора |
| robots.txt | «Вежливый» скрапер обходит сайт медленно, соблюдает robots.txt и представляется честно; недобросовестный — игнорирует все три признака |
| Пометка TrafficVeil | Требует индивидуальной проверки в каждом случае — универсального вердикта для этого имени не существует |
Почему единая пометка «нежелательный» здесь не подходит
Раз даже профильные каталоги ботов признают отсутствие единого оператора у этого имени, то и рекомендация «запрет или жёсткий rate-limit по умолчанию» не может быть универсально верной — под этим же именем могут скрываться совершенно разные по намерениям источники. Прагматичный подход, который рекомендуют специализированные каталоги: относиться к неверифицированным операторам как к недоверенному трафику по умолчанию, но решение принимать по конкретному поведению, а не по одному лишь имени.
Как оценивать визиты SuperBot на практике
# Базовый поиск
grep -i "superbot" /var/log/nginx/access.log
# Какие URL вычитывает — глубина и системность обхода
grep -i "superbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "superbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Регулярность — строит ли бот индекс или следит за конкретным изменением
grep -i "superbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cСтрока UA легко подделывается, поэтому «трафик заявляет себя SuperBot» — не то же самое, что «трафик действительно SuperBot». Для более сильных гарантий проверяйте обратный DNS или дожидайтесь публикации официальных IP-диапазонов оператором, если такой найдётся:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"robots.txt и блокировка через TrafficVeil
# Осторожный вариант по умолчанию: наблюдать и ограничивать
User-agent: superbot
Disallow: /
# Если нагрузка минимальна и решено не блокировать превентивно
User-agent: superbot
Allow: /TrafficVeil: при неясном намерении безопаснее начать с rate-limit, а не с полной блокировки, — это сохраняет доступ для потенциально легитимного случая, но снижает нагрузку от возможного недобросовестного скрапинга. Влияние на классическое SEO минимально в любом случае — SuperBot не является поисковым краулером.
Что в итоге делать с SuperBot
| Ситуация | Действие |
| Визиты редкие, поведение «вежливое» — медленный обход, соблюдение robots.txt | Оставить как есть, продолжить наблюдение |
| Поведение агрессивное — быстрый массовый обход, игнорирование robots.txt | Rate-limit, затем Disallow / запрет в TrafficVeil |
| Нужна максимальная осторожность из-за неподтверждённой личности источника | Disallow по умолчанию, allow только при явном обосновании |
| IP совпадает с известным датацентровым/скраперским ASN | Блокировать как обычного неопознанного бота |