Обзор баз блокировок
Что такое базы блокировок?
Базы блокировок — это списки IP-адресов, User-Agent строк и других паттернов, которые TrafficVeil использует для автоматической блокировки вредоносного трафика.
Типы баз:
- IP адреса — списки вредоносных IP
- User-Agent — паттерны ботов и сканеров
- Referrer — спам-рефереры
- Regex паттерны — сложные правила фильтрации
Источники баз:
- Публичные базы — IPsum, Bitwire, и др.
- Собственные базы — TrafficVeil собирает данные
- Пользовательские — ваши собственные списки
Преимущества:
- Автоматическая блокировка известных угроз
- Обновление в реальном времени
- Минимум ложных срабатываний
- Экономия ресурсов сервера
База IPsum
Что такое IPsum?
IPsum — агрегатор данных об угрозах из 20+ источников. Обновляется ежедневно.
Уровни достоверности:
Level 1 (192K+ IP):
- Все IP из всех источников
- Низкая достоверность
- Много false positives
- НЕ рекомендуется для блокировки
Level 2 (45K+ IP):
- Средняя достоверность
- Меньше false positives
- Подходит для мониторинга
Level 3 (20K+ IP) — РЕКОМЕНДУЕТСЯ:
- Высокая достоверность
- Минимум false positives
- Оптимальный баланс
- Рекомендуется для большинства сайтов
Level 5 (3K+ IP):
- Очень высокая достоверность
- Точно вредоносные IP
- Для осторожных
Level 7 (120+ IP):
- Максимальная достоверность
- Подтверждённые угрозы
- Для критически важных систем
Подключение:
- Безопасность → Базы данных
- Найдите IPsum Level 3
- Нажмите "Включить"
- Автообновление каждый час
База Bitwire
Что такое Bitwire?
Bitwire — коммерческая база угроз от bitwire.it. Разделена на категории.
Категории Bitwire:
Bitwire All:
Все вредоносные IP в одном файле.
- Объединяет Inbound + Outbound
- 3M+ IP адресов
- Для максимальной защиты
Bitwire Inbound (РЕКОМЕНДУЕТСЯ):
IP, атакующие ваш сервер:
- Спамеры
- Сканеры уязвимостей
- Брутфорсеры
- 3M+ IP адресов
- Обновление ежедневно
Bitwire Outbound:
IP, связанные с вредоносной активностью:
- C2 серверы (Command & Control)
- Ботнеты
- Malware
- 160K+ IP адресов
Рекомендация:
- Включите Bitwire Inbound — защита от входящих атак
- Bitwire Outbound — если ваш сервер может быть заражён
Подключение:
- Безопасность → Базы данных
- Найдите Bitwire Inbound
- Нажмите "Включить"
Авто-собираемые базы
Базы, собираемые TrafficVeil автоматически:
Scanners IPs:
IP, использующие сканеры уязвимостей:
- nikto, nmap, sqlmap
- Acunetix, Burp Suite
- masscan, ZGrab
- Автоматическое обнаружение
Headless Browser IPs:
IP, использующие автоматизированные браузеры:
- Selenium
- Puppeteer
- Playwright
- PhantomJS
Programmatic IPs:
IP, использующие программные HTTP-клиенты:
- Python requests
- Go http client
- Java HttpClient
- Явные признаки автоматизации
Fake UA IPs:
IP с поддельными User-Agent:
- Неверный формат Chrome/Firefox
- Несоответствие заголовков
- Подмена версий
Empty UA IPs:
IP с пустым User-Agent:
- Явный признак бота
- Редко легитимный трафик
High Frequency IPs:
IP с аномально высокой частотой запросов:
- >1000 req/min
- Автоматически блокируются
404 Scanners:
IP, генерирующие много 404 ошибок:
- Сканирование путей
- Поиск уязвимостей
- >50 404 за час = блокировка
Паттерны User-Agent
Базы User-Agent паттернов:
Bad User-Agents (7K+ паттернов):
Известные вредоносные User-Agent:
- Сканеры: nikto, nmap, sqlmap
- Скрейперы: Scrapy, Python-urllib
- SEO боты: AhrefsBot, MJ12bot, SemrushBot
- Старые боты: YandexBot/1.0
Fake Browsers:
Паттерны поддельных браузеров:
- Chrome с невалидными версиями
- Firefox без корректных заголовков
- Safari с Windows NT
Headless UA Patterns:
Паттерны headless браузеров:
- HeadlessChrome
- PhantomJS
- Puppeteer mentions
HTTP Clients:
Паттерны HTTP-библиотек:
- curl/
- wget/
- python-requests/
- Go-http-client/
Управление:
- Безопасность → Базы данных → User-Agent
- Включите нужные базы
- Добавьте исключения при необходимости
Действие при совпадении:
- Block — заблокировать
- Challenge — JavaScript проверка
- Log — только логировать
Исключения:
Если легитимный сервис использует нестандартный UA — добавьте в whitelist.
Пользовательские базы
Создание своей базы:
Формат файла:
Текстовый файл, один элемент на строку:
\\\`
192.168.1.1
192.168.1.0/24
10.0.0.1-10.0.0.255
# Это комментарий
\\\`
Загрузка:
- Безопасность → Базы данных → Пользовательские
- Нажмите "Загрузить базу"
- Выберите тип: IP / User-Agent / Referrer
- Загрузите файл
- Укажите название и описание
Лимиты:
- Free: 1 база, до 1000 записей
- Starter: 5 баз, до 10000 записей
- Pro: 20 баз, до 100000 записей
- Business: Без ограничений
Обновление:
- Ручное: загрузка нового файла
- API: PUT /api/v1/databases/{id}
- Webhook: TrafficVeil запросит файл по URL
Автообновление по URL:
- Разместите файл на вашем сервере
- Укажите URL в настройках базы
- TrafficVeil будет обновлять каждый час
API загрузка:
\\\`bash
curl -X POST "https://api.trafficveil.com/v1/databases"
-H "Authorization: Bearer {token}"
-F "file=@blocklist.txt"
-F "name=My Blocklist"
-F "type=ip"
\\\`
Привязка баз к доменам
Как привязать базу к домену:
Глобальные базы:
Применяются ко всем доменам аккаунта:
- Безопасность → Базы данных
- Найдите нужную базу
- Включите переключатель "Глобально"
Базы для конкретного домена:
- Откройте настройки домена
- Вкладка "Безопасность" → "Базы данных"
- Выберите базы для привязки
- Сохраните
Приоритет применения:
- Whitelist домена (высший)
- Whitelist глобальный
- Blacklist домена
- Blacklist глобальный
- Публичные базы (IPsum, Bitwire)
- Авто-собираемые базы
Управление через панель:
- Безопасность → Базы данных
- Клик на базу → Настройки
- Вкладка "Домены" → выбор доменов
Статистика:
Для каждой базы отображается:
- Количество записей
- Количество блокировок за день/неделю
- Последнее обновление
- Статус (активна/отключена)
Уведомления:
Настройте уведомления при:
- Обновлении базы
- Большом количестве блокировок
- Ошибке обновления
Рекомендации
Рекомендуемый набор баз:
Для обычного сайта:
- ✅ IPsum Level 3 (рекомендуемый)
- ✅ Bitwire Inbound
- ✅ Bad User-Agents
- ✅ Авто-собираемые базы
Для интернет-магазина:
- ✅ IPsum Level 3
- ✅ Bitwire Inbound
- ✅ Bad User-Agents
- ✅ Авто-собираемые базы
- ✅ Bad Referrers
Для финансового сервиса:
- ✅ IPsum Level 5 (строже)
- ✅ Bitwire Inbound + Outbound
- ✅ Все User-Agent паттерны
- ✅ Авто-собираемые базы
Не рекомендуется:
- ❌ IPsum Level 1 — много false positives
- ❌ All Known Bots — заблокирует поисковики
При ложных срабатываниях:
- Проверьте логи блокировок
- Найдите IP/UA в логах
- Добавьте в Whitelist
- Или отключите проблемную базу
Мониторинг:
- Проверяйте логи первые 24 часа
- Настройте уведомления
- Следите за false positives