Rackspace — не абстрактная «инфраструктура платформы», а конкретный сервис Rackspace Monitoring, часть предложений известного облачного и хостинг-провайдера Rackspace Technology. Бот выполняет HTTP-проверки, аптайм-мониторинг и оценку производительности сайтов и инфраструктуры для клиентов компании. В каталоге TrafficVeil он отмечен как легитимный в категории «Прочие краулеры и сервисы».
Что такое Rackspace на самом деле
Rackspace Technology — крупный провайдер облачных и managed-услуг. Rackspace Monitoring — один из их сервисов, который проверяет доступность и производительность сайтов клиентов, присылая уведомления и данные для анализа. У сервиса также есть отдельный устанавливаемый Monitoring Agent, который живёт на самом сервере клиента и собирает метрики хоста (использование памяти, CPU и другие показатели) для передачи в Rackspace Monitoring — но это отдельный механизм, не связанный напрямую с HTTP-ботом, заходящим на публичные страницы сайта.
| Параметр | Значение |
| Название | Rackspace (Rackspace Monitoring) |
| User-Agent (токен/паттерн) | rackspace |
| Оператор | Rackspace Technology |
| Назначение | HTTP-проверки, аптайм-мониторинг и оценка производительности сайтов и инфраструктуры клиентов |
| Список IP-адресов | ❌ Отдельный официальный список есть не у всех операторов; проверяйте ASN/документацию владельца бота и не полагайтесь только на UA |
| Соблюдение robots.txt | Зависит от оператора; рекомендуется проверить фактическое соблюдение через собственный мониторинг, а не полагаться на предположение |
| Используется для обучения моделей | Не задокументировано явно — назначение строго про мониторинг доступности и производительности |
| Категория TrafficVeil | Легитимный / Прочие краулеры и сервисы |
Как работает Rackspace
Идентифицируется в access.log по паттерну User-Agent rackspace. Логика та же, что и у любого мониторинга: кто-то — вы сами, ваша команда или клиент Rackspace, отслеживающий ваш домен, — настроил регулярную проверку. Отдельный Monitoring Agent, устанавливаемый на сервер, работает по документированному JSON-протоколу и имеет открытый исходный код под лицензией Apache 2.0 — это отдельный, более глубокий уровень мониторинга, доступный только если он явно установлен на сервере.
Нагрузка на сервер
На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий. Даже при умеренной средней частоте на одном домене возможны локальные всплески, похожие на L7-нагрузку: много 200 OK без роста реальных сессий. Признаки проблемной активности:
- рост RPS без роста конверсий;
- обход пагинации/каталога — нетипично для простого health-check;
- повторяющиеся запросы к тяжёлым страницам;
- давление на origin CPU и bandwidth.
Обнаружение в логах
# Все запросы
grep -i "rackspace" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "rackspace" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "rackspace" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "rackspace" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать. Для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — и на практике проверьте, действительно ли бот соблюдает вашу настройку robots.txt, а не предполагайте это заранее:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: rackspace Disallow: / # Точечное ограничение User-agent: rackspace Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: rackspace Allow: /
Учитывайте: не все агенты строго соблюдают robots.txt. Для гарантированного контроля используйте серверные правила или TrafficVeil, а фактическое соблюдение файла этим ботом лучше подтвердить собственным наблюдением, а не считать само собой разумеющимся.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "rackspace") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=rackspace:10m rate=15r/m;
location / {
if ($http_user_agent ~* "rackspace") {
limit_req zone=rackspace burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} rackspace [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - найдите rackspace / Rackspace;
- если мониторинг настраивала ваша команда — allow; если чужой и не нужен — запрет;
- при необходимости используйте массовые операции allow/deny без правки origin;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- Оценивайте пользу: если это ваш собственный мониторинг через Rackspace — allow; если чужой и не нужен бизнесу — блокируйте или rate-limit;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков чаще достаточно rate-limit вместо полного 403;
- контент лучше отдавать server-side, если хотите контролируемую индексацию легитимными агентами.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Мониторинг настраивала ваша команда через Rackspace | Allow / разрешить в TrafficVeil |
| Мониторинг чужой и не нужен бизнесу | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Мониторинг свой, но беспокоит частота | Rate-limit вместо полной блокировки |
| Нежелательный бот по базе TrafficVeil | Запретить в /system/bots и контролировать по логам |