T3versionsBot: разовая проверка CMS, не угроза

Строка t3versionsbot в базах помечена «нежелательный» с рекомендацией сразу блокировать. На деле это узкоспециализированный, честно задокументированный некоммерческий бот с открытым email-контактом автора — задача которого ограничена одной проверкой: определить, работает ли сайт на CMS TYPO3.

Что такое t3versionsBot на самом деле

t3versionsBot — частный проект разработчика Торбена Хансена: «дружелюбный» краулер, который обходит списки доменов, чтобы определить, использует ли сайт open-source CMS TYPO3. Для каждого домена бот делает один GET-запрос, следует за редиректами (например, с HTTP на HTTPS) и анализирует ответ сервера на характерные признаки TYPO3. Если сайт идентифицирован как TYPO3, домен сохраняется в базу для агрегированной статистики, публично доступной на t3versions.com/statistics, — данные используются только для отслеживания распространённости CMS в мире, без сбора персональных данных.

Зачем t3versionsBot приходит на сайт

Визит связан не с постоянным мониторингом конкретного сайта, а с тем, что домен попал в общий список для очередной статистической проверки. Бот делает единичный запрос на домен — если не возникает редиректов, повторных обращений не будет, а сам обход не углубляется в контент сайта: цель — только технические признаки CMS в ответе сервера.

Почему пометка «нежелательный» здесь ошибочна

Проект прямо называет себя авторизованным краулером, следующим стандартным веб-протоколам, не рассчитанным на перегрузку серверов или извлечение чувствительной информации. Автор лично указывает email для вопросов или исключения домена из списка проверок — редкая для этой энциклопедии прозрачность. Блокировка не защищает ни от чего конкретного: единственное последствие — сайт не попадёт в открытую статистику использования TYPO3.

Как найти t3versionsBot в логах

# Базовый поиск
grep -i "t3versionsbot" /var/log/nginx/access.log

# Какой единственный запрос был сделан
grep -i "t3versionsbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "t3versionsbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверяйте IP через ASN — публичного списка адресов проект не публикует:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (стандартный вариант — нагрузка минимальна)
User-agent: t3versionsBot
Allow: /

# Официально подтверждённая директива для полного запрета
User-agent: t3versionsBot
Disallow: /

TrafficVeil: разумный вариант по умолчанию — allow: визит единичный, нагрузка исчезающе мала, а данные собираются только для открытой статистики по CMS. Если сайт работает на TYPO3, участие в статистике полезно для сообщества; если нет, бот просто не найдёт признаков TYPO3 и не вернётся. Полная блокировка через robots.txt официально поддерживается автором и не создаёт никаких проблем — просто исключает сайт из подсчёта.

Что в итоге делать с t3versionsBot