Строка t3versionsbot в базах помечена «нежелательный» с рекомендацией сразу блокировать. На деле это узкоспециализированный, честно задокументированный некоммерческий бот с открытым email-контактом автора — задача которого ограничена одной проверкой: определить, работает ли сайт на CMS TYPO3.
Что такое t3versionsBot на самом деле
t3versionsBot — частный проект разработчика Торбена Хансена: «дружелюбный» краулер, который обходит списки доменов, чтобы определить, использует ли сайт open-source CMS TYPO3. Для каждого домена бот делает один GET-запрос, следует за редиректами (например, с HTTP на HTTPS) и анализирует ответ сервера на характерные признаки TYPO3. Если сайт идентифицирован как TYPO3, домен сохраняется в базу для агрегированной статистики, публично доступной на t3versions.com/statistics, — данные используются только для отслеживания распространённости CMS в мире, без сбора персональных данных.
| Параметр | Значение |
| Название | t3versionsBot |
| User-Agent / паттерн | Mozilla/5.0 (compatible; t3versionsBot/1.2; +https://www.t3versions.com/bot) |
| Оператор | Торбен Хансен — частный некоммерческий проект t3versions, без коммерческих интересов |
| Категория TrafficVeil | Точечная статистическая проверка CMS TYPO3 (не системный обход и не сбор данных о содержимом) |
| Что делает на сайте | Один GET-запрос к домену (плюс переходы по редиректам) для определения признаков TYPO3 — не индексирует контент и не обходит сайт глубже |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Официально соблюдает стандартный протокол — задокументированные директивы для блокировки подтверждены автором |
| Пометка TrafficVeil | Легитимный — минимальная разовая нагрузка, честная самоидентификация, открытый контакт для вопросов |
Зачем t3versionsBot приходит на сайт
Визит связан не с постоянным мониторингом конкретного сайта, а с тем, что домен попал в общий список для очередной статистической проверки. Бот делает единичный запрос на домен — если не возникает редиректов, повторных обращений не будет, а сам обход не углубляется в контент сайта: цель — только технические признаки CMS в ответе сервера.
Почему пометка «нежелательный» здесь ошибочна
Проект прямо называет себя авторизованным краулером, следующим стандартным веб-протоколам, не рассчитанным на перегрузку серверов или извлечение чувствительной информации. Автор лично указывает email для вопросов или исключения домена из списка проверок — редкая для этой энциклопедии прозрачность. Блокировка не защищает ни от чего конкретного: единственное последствие — сайт не попадёт в открытую статистику использования TYPO3.
Как найти t3versionsBot в логах
# Базовый поиск
grep -i "t3versionsbot" /var/log/nginx/access.log
# Какой единственный запрос был сделан
grep -i "t3versionsbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "t3versionsbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — публичного списка адресов проект не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант — нагрузка минимальна)
User-agent: t3versionsBot
Allow: /
# Официально подтверждённая директива для полного запрета
User-agent: t3versionsBot
Disallow: /TrafficVeil: разумный вариант по умолчанию — allow: визит единичный, нагрузка исчезающе мала, а данные собираются только для открытой статистики по CMS. Если сайт работает на TYPO3, участие в статистике полезно для сообщества; если нет, бот просто не найдёт признаков TYPO3 и не вернётся. Полная блокировка через robots.txt официально поддерживается автором и не создаёт никаких проблем — просто исключает сайт из подсчёта.
Что в итоге делать с t3versionsBot
| Ситуация | Действие |
| Стандартный случай | Allow — нагрузка минимальна, визит единичный |
| Сайт работает на TYPO3 и участие в статистике интересно | Allow без изменений |
| Участие в статистике не нужно | Disallow под именем t3versionsBot — официально поддерживается автором |
| Подозрение на спуфинг UA | Сверять по ASN, а не доверять строке UA |