RetroListeCOM: зачем бот проверяет Habbo Retro сайты и онлайн пользователей

RetroListeCOM — автоматизированный мониторинговый бот проекта RetroListe.com. В отличие от обычных поисковых crawler он не предназначен для построения глобального веб-индекса и не пытается систематически анализировать весь интернет.

Его задача значительно уже: RetroListeCOM регулярно посещает игровые сайты, прежде всего проекты из экосистемы Habbo Retro, и получает данные, необходимые для работы рейтинга RetroListe.

Cloudflare Radar классифицирует агента как Verified Bot категории Monitoring & Analytics.

Параметр	Значение
Название	RetroListeCOM
Оператор	Niclas Papst
Проект	RetroListe.com
Тип	Monitoring & Analytics
Полный User-Agent	Mozilla/5.0 (compatible; RetroListeCOM/1.0)
Основной токен	RetroListeCOM
Основная тематика	Habbo Retro и связанные игровые сайты
Основная задача	Получение данных о пользовательской активности
Поисковая индексация	Нет
AI training	Не является заявленной задачей
Verified bot	Да
Категория TrafficVeil	Monitoring & Analytics / Прочие краулеры и сервисы

Что представляет собой RetroListe.com

RetroListe.com — специализированный каталог и рейтинг игровых проектов, связанных прежде всего с Habbo Retro.

На страницах сервиса можно увидеть для отдельных проектов такие показатели, как:

• текущее количество пользователей онлайн;
• дневной максимум;
• исторический рекорд;
• uptime;
• количество переходов;
• статус проекта;
• maintenance state.

Чтобы такие данные оставались актуальными, сервису необходимо регулярно получать информацию от перечисленных игровых сайтов.

Именно с этим связан автоматический трафик RetroListeCOM.

Что именно делает бот

Cloudflare описывает RetroListeCOM как сервис, который отслеживает количество пользователей на игровых сайтах, а его bot посещает эти ресурсы для сбора соответствующих данных.

Поэтому характерный запрос нельзя автоматически интерпретировать как попытку:

• скопировать статью;
• проиндексировать весь сайт;
• найти SEO-ссылки;
• собрать данные для AI;
• просканировать уязвимости.

Нормальная задача значительно проще — получить показатели, необходимые RetroListe.

Почему RetroListeCOM может приходить регулярно

Количество пользователей онлайн постоянно меняется.

Если статистику обновлять только раз в сутки, рейтинг быстро потеряет практическую ценность. Поэтому monitoring bot закономерно должен возвращаться к зарегистрированному игровому проекту повторно.

В access.log это может выглядеть примерно так:

12:00 RetroListeCOM → /status
12:05 RetroListeCOM → /status
12:10 RetroListeCOM → /status
12:15 RetroListeCOM → /status

Регулярность сама по себе в таком сценарии не является признаком атаки.

RetroListeCOM — не обычный контентный crawler

Исходный черновик относил бот к классу автоматических агентов, которые анализируют контент, ссылки и технические параметры.

Это слишком широкое описание.

Признак	RetroListeCOM	Обычный поисковый crawler
Основная цель	Мониторинг игровых проектов	Поисковая индексация
Основная метрика	Пользователи онлайн и состояние проекта	Контент страницы
Нужен полный веб-индекс	Нет	Да
Регулярные проверки	Ожидаемы	Зависят от crawl schedule
Связь с конкретной тематикой	Да, gaming/Habbo Retro	Обычно нет

Как выглядит User-Agent

Cloudflare Radar приводит следующую полную строку:

Mozilla/5.0 (compatible; RetroListeCOM/1.0)

Для обнаружения лучше использовать устойчивый токен:

RetroListeCOM

без жёсткой зависимости от версии.

Так будущий вариант вроде:

RetroListeCOM/1.1

не останется незамеченным только из-за изменения номера версии.

Как найти RetroListeCOM в логах

Базовый поиск:

grep -i "retrolistecom" /var/log/nginx/access.log

Общее количество запросов:

grep -ic "retrolistecom" /var/log/nginx/access.log

Наиболее активные IP:

grep -i "retrolistecom" /var/log/nginx/access.log \
| awk '{print $1}' \
| sort \
| uniq -c \
| sort -nr \
| head -20

Наиболее часто запрашиваемые URL:

grep -i "retrolistecom" /var/log/nginx/access.log \
| awk '{print $7}' \
| sort \
| uniq -c \
| sort -nr \
| head -30

HTTP-коды:

grep -i "retrolistecom" /var/log/nginx/access.log \
| awk '{print $9}' \
| sort \
| uniq -c \
| sort -nr

Посмотрите периодичность запросов

Для monitoring bot особенно полезно анализировать интервалы.

grep -i "retrolistecom" /var/log/nginx/access.log \
| awk '{print $4}'

Если обращения приходят через примерно одинаковые промежутки времени и затрагивают один и тот же URL, это гораздо лучше соответствует мониторингу, чем массовому scraping.

Какой профиль выглядит нормальным

Для RetroListeCOM ожидаемо выглядит:

• повторное обращение к одному или небольшому количеству URL;
• регулярная периодичность;
• GET-запросы;
• небольшой набор страниц;
• сбор публично доступных показателей;
• ответы 200 OK;
• отсутствие security scanning.

Что должно вызвать подозрение

Даже verified-имя в User-Agent не оправдывает любое поведение.

Например:

GET /.env
GET /.git/config
GET /wp-login.php
GET /xmlrpc.php
GET /phpmyadmin/
GET /backup.zip

не имеет очевидного отношения к мониторингу количества игроков.

Подозрительными будут также:

• массовый перебор административных URL;
• тысячи уникальных страниц;
• POST-запросы к формам авторизации;
• credential stuffing;
• path traversal;
• SQL injection probes;
• устойчивый высокий RPS.

В такой ситуации TrafficVeil должен применять обычную security policy независимо от знакомого User-Agent.

Verified Bot не означает «доверять любому UA»

Cloudflare помечает RetroListeCOM как verified bot, однако строка User-Agent сама по себе остаётся обычным HTTP-заголовком.

Любой клиент способен отправить:

User-Agent: Mozilla/5.0 (compatible; RetroListeCOM/1.0)

Поэтому неправильная логика:

UA contains RetroListeCOM
→ bypass all WAF rules

создаёт ненужный риск.

Какие сигналы лучше использовать вместе

• User-Agent;
• IP;
• ASN;
• запрашиваемый URL;
• HTTP-метод;
• периодичность;
• количество уникальных страниц;
• ответы сервера;
• соответствие профилю monitoring bot.

Совокупность этих признаков надёжнее одной строки.

Есть ли официальный IP-список RetroListeCOM

В доступной публичной документации, которую удалось подтвердить, нет полноценного поддерживаемого оператором IP-feed, аналогичного спискам Googlebot или GTmetrix.

Это означает, что нельзя строить строгую аутентификацию только по статической таблице адресов из сторонних баз.

IP и ASN всё равно полезны как дополнительные сигналы, но их следует сопоставлять с поведением.

Как проверить IP вручную

IP="1.2.3.4"

whois "$IP"
dig +short -x "$IP"

Для ASN:

whois -h whois.cymru.com " -v $IP"

Не следует разрешать целый hosting ASN только потому, что один наблюдавшийся RetroListeCOM IP находится в этой сети.

Насколько большую нагрузку создаёт RetroListeCOM

Для такого monitoring bot важнее не глубина обхода сайта, а частота повторных проверок.

Если сервис следит за online-count, ему нет очевидной необходимости загружать тысячи различных страниц.

Поэтому оценивайте:

• requests/hour;
• requests/day;
• число уникальных URL;
• средний интервал между запросами;
• response time;
• cache HIT/MISS;
• bandwidth;
• CPU origin.

Пример нормальной нагрузки

Допустим, бот делает одну проверку каждые пять минут.

Это:

• 12 запросов в час;
• 288 запросов в сутки;
• около 8 640 запросов за 30 дней.

На графике за месяц число может выглядеть заметным, но для сервера это очень небольшая средняя нагрузка.

Важно не делать вывод только по абсолютному месячному числу.

Когда нагрузка действительно выглядит странно

Например:

30 000 запросов в час
8 000 уникальных URL
пагинация
поиск
админка
служебные файлы

плохо соответствует задаче отслеживания online-count.

В этом случае нужно проверять подмену User-Agent либо аномальное поведение источника.

Почему RetroListeCOM не стоит считать человеческим трафиком

Даже легитимная автоматизация остаётся бот-трафиком.

Запрос RetroListeCOM не должен увеличивать:

• число реальных пользователей;
• человеческие сессии;
• конверсии;
• DAU;
• поведенческие показатели посетителей.

TrafficVeil может выделять этот трафик отдельно как Monitoring & Analytics.

Соблюдает ли RetroListeCOM robots.txt

Здесь публичные источники дают неоднозначную картину.

Cloudflare Radar показывает для агента robots-токен:

User-agent: RetroListeCOM/
Disallow: /

Однако другие crawler-каталоги указывают, что бот может не соблюдать robots.txt.

Из-за отсутствия достаточно ясной официальной crawl-policy безопаснее не считать robots.txt гарантированным механизмом контроля.

Можно ли всё равно добавить правило robots.txt

Да, как декларативную инструкцию:

User-agent: RetroListeCOM
Disallow: /

После этого необходимо посмотреть access.log и проверить фактическое поведение.

Если запросы продолжаются, потребуется технический запрет.

Как заблокировать RetroListeCOM через Nginx

Простое правило:

if ($http_user_agent ~* "RetroListeCOM") {
    return 403;
}

Оно остановит всех клиентов, которые используют такой UA.

При этом правило не различает настоящего RetroListeCOM и поддельный User-Agent.

Блокировка через Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} RetroListeCOM [NC]
RewriteRule ^ - [F,L]

Сервер вернёт 403 Forbidden.

Нужен ли rate limit

Если сайт действительно хочет участвовать в RetroListe, но частота запросов кажется чрезмерной, rate limit может быть мягче полного запрета.

Однако сначала следует измерить реальную периодичность.

Ограничивать обычный monitoring traffic на уровне нескольких запросов в минуту зачастую вообще нет необходимости.

Пример корректного rate limit в Nginx

map $http_user_agent $retroliste_limit_key {
    default "";
    ~*RetroListeCOM $binary_remote_addr;
}

limit_req_zone $retroliste_limit_key zone=retroliste:10m rate=1r/s;

server {
    location / {
        limit_req zone=retroliste burst=10;
    }
}

1r/s приведён как пример синтаксиса, а не как рекомендуемый универсальный порог.

Стоит ли блокировать RetroListeCOM

Ответ напрямую зависит от типа сайта.

Если сайт участвует в RetroListe

Бот выполняет полезную функцию: получает данные, благодаря которым показатели проекта в каталоге остаются актуальными.

Безусловная блокировка может привести к устаревшей статистике, неправильному отображению online-count или другим проблемам с monitoring.

Если сайт не связан с Habbo Retro

Практическая польза такого агента обычно минимальна.

Специальный Allow создавать не нужно, а при нежелательных обращениях доступ можно ограничить.

Что показывает сам RetroListe

На страницах проекта для игровых серверов отображаются различные показатели, включая:

• Online;
• Record;
• Today's record;
• Uptime;
• Clicks today;
• Maintenance status.

Это дополнительно подтверждает мониторинговую природу проекта: ценность сервиса строится на регулярно обновляемых показателях игровых ресурсов.

RetroListeCOM и TrafficVeil

Для TrafficVeil его разумнее классифицировать как Gaming Monitoring Bot, а не общий нежелательный crawler.

Рекомендуемый алгоритм:

1. обнаружить токен RetroListeCOM;
2. сохранить полный User-Agent;
3. определить IP и ASN;
4. посмотреть количество уникальных URL;
5. измерить периодичность;
6. проверить HTTP-методы;
7. сопоставить поведение с мониторингом;
8. проверить, связан ли сайт с RetroListe;
9. только после этого назначить политику.

Как должна выглядеть карточка RetroListeCOM

Поле	Рекомендуемое значение
Название	RetroListeCOM
Оператор	Niclas Papst
Проект	RetroListe.com
Категория	Monitoring & Analytics
Подкатегория	Gaming Monitoring
Статус	Легитимный / контекстно полезный
User-Agent	Mozilla/5.0 (compatible; RetroListeCOM/1.0)
Основная задача	Получение статистики игровых сайтов
Поисковый crawler	Нет
AI crawler	Нет подтверждённой функции
Рекомендуемая проверка	UA + IP/ASN + периодичность + URL

Когда RetroListeCOM лучше разрешить

• игровой проект представлен на RetroListe;
• владельцу нужна актуальная статистика online;
• бот обращается с ожидаемой периодичностью;
• запросы идут только к связанным с monitoring URL;
• нагрузка незначительна.

Когда его можно ограничить

• частота неожиданно выросла;
• origin испытывает нагрузку;
• бот повторно получает дорого генерируемый endpoint;
• необходим контроль bandwidth;
• сервис полезен, но полный неограниченный доступ нежелателен.

Когда deny оправдан

• сайт вообще не связан с RetroListe;
• мониторинг не нужен владельцу;
• клиент сканирует security-sensitive paths;
• поведение не соответствует monitoring bot;
• User-Agent используется как маскировка;
• автоматические обращения нарушают внутреннюю policy.

Практический чек-лист

1. Исправьте классификацию. RetroListeCOM — Monitoring & Analytics, а не универсальный crawler.
2. Укажите оператора. Cloudflare связывает бот с Niclas Papst.
3. Используйте реальный UA. Mozilla/5.0 (compatible; RetroListeCOM/1.0).
4. Посмотрите периодичность. Для monitoring это один из самых сильных поведенческих сигналов.
5. Посчитайте уникальные URL. Их должно быть значительно меньше, чем у широкого crawler.
6. Не считайте трафик аудиторией. Это автоматические проверки.
7. Не доверяйте только UA. Проверяйте IP, ASN и поведение.
8. Не рассчитывайте полностью на robots.txt. При необходимости используйте серверный deny.
9. Учитывайте бизнес-контекст. Для проекта из RetroListe бот может быть непосредственно полезен.

Итог

RetroListeCOM — verified monitoring bot проекта RetroListe.com, а не неизвестный контентный scraper. Он связан с оператором Niclas Papst и используется главным образом для получения статистики игровых сайтов, прежде всего проектов Habbo Retro.

Его документированный User-Agent — Mozilla/5.0 (compatible; RetroListeCOM/1.0), а Cloudflare относит его к категории Monitoring & Analytics.

Для сайта, который участвует в RetroListe, регулярные обращения являются ожидаемыми и могут быть необходимы для обновления online-count, uptime и связанных показателей. Для обычного сайта отдельного доверенного разрешения не требуется.

TrafficVeil лучше оценивать RetroListeCOM по совокупности признаков: User-Agent, IP/ASN, периодичность, число уникальных URL и соответствие monitoring-профилю. Это позволяет не блокировать полезные проверки и одновременно не доверять клиенту, который просто скопировал известную строку User-Agent.