TrafficVeil
Вернуться к документации
Документация

Базы блокировок

IPsum, Bitwire, авто-собираемые базы, User-Agent паттерны и пользовательские списки.

Обзор баз блокировок


Что такое базы блокировок?

Базы блокировок — это списки IP-адресов, User-Agent строк и других паттернов, которые TrafficVeil использует для автоматической блокировки вредоносного трафика.


Типы баз:

  • **IP адреса** — списки вредоносных IP
  • **User-Agent** — паттерны ботов и сканеров
  • **Referrer** — спам-рефереры
  • **Regex паттерны** — сложные правила фильтрации

  • Источники баз:

  • **Публичные базы** — IPsum, Bitwire, и др.
  • **Собственные базы** — TrafficVeil собирает данные
  • **Пользовательские** — ваши собственные списки

  • Преимущества:

  • Автоматическая блокировка известных угроз
  • Обновление в реальном времени
  • Минимум ложных срабатываний
  • Экономия ресурсов сервера

  • База IPsum


    Что такое IPsum?

    IPsum — агрегатор данных об угрозах из 20+ источников. Обновляется ежедневно.


    Уровни достоверности:


    Level 1 (192K+ IP):

  • Все IP из всех источников
  • Низкая достоверность
  • Много false positives
  • НЕ рекомендуется для блокировки

  • Level 2 (45K+ IP):

  • Средняя достоверность
  • Меньше false positives
  • Подходит для мониторинга

  • Level 3 (20K+ IP) — РЕКОМЕНДУЕТСЯ:

  • Высокая достоверность
  • Минимум false positives
  • Оптимальный баланс
  • Рекомендуется для большинства сайтов

  • Level 5 (3K+ IP):

  • Очень высокая достоверность
  • Точно вредоносные IP
  • Для осторожных

  • Level 7 (120+ IP):

  • Максимальная достоверность
  • Подтверждённые угрозы
  • Для критически важных систем

  • Подключение:

    1. Безопасность → Базы данных

    2. Найдите IPsum Level 3

    3. Нажмите "Включить"

    4. Автообновление каждый час


    База Bitwire


    Что такое Bitwire?

    Bitwire — коммерческая база угроз от bitwire.it. Разделена на категории.


    Категории Bitwire:


    Bitwire All:

    Все вредоносные IP в одном файле.

  • Объединяет Inbound + Outbound
  • 3M+ IP адресов
  • Для максимальной защиты

  • Bitwire Inbound (РЕКОМЕНДУЕТСЯ):

    IP, атакующие ваш сервер:

  • Спамеры
  • Сканеры уязвимостей
  • Брутфорсеры
  • 3M+ IP адресов
  • Обновление ежедневно

  • Bitwire Outbound:

    IP, связанные с вредоносной активностью:

  • C2 серверы (Command & Control)
  • Ботнеты
  • Malware
  • 160K+ IP адресов

  • Рекомендация:

    1. Включите Bitwire Inbound — защита от входящих атак

    2. Bitwire Outbound — если ваш сервер может быть заражён


    Подключение:

    1. Безопасность → Базы данных

    2. Найдите Bitwire Inbound

    3. Нажмите "Включить"


    Авто-собираемые базы


    Базы, собираемые TrafficVeil автоматически:


    Scanners IPs:

    IP, использующие сканеры уязвимостей:

  • nikto, nmap, sqlmap
  • Acunetix, Burp Suite
  • masscan, ZGrab
  • Автоматическое обнаружение

  • Headless Browser IPs:

    IP, использующие автоматизированные браузеры:

  • Selenium
  • Puppeteer
  • Playwright
  • PhantomJS

  • Programmatic IPs:

    IP, использующие программные HTTP-клиенты:

  • Python requests
  • Go http client
  • Java HttpClient
  • Явные признаки автоматизации

  • Fake UA IPs:

    IP с поддельными User-Agent:

  • Неверный формат Chrome/Firefox
  • Несоответствие заголовков
  • Подмена версий

  • Empty UA IPs:

    IP с пустым User-Agent:

  • Явный признак бота
  • Редко легитимный трафик

  • High Frequency IPs:

    IP с аномально высокой частотой запросов:

  • >1000 req/min
  • Автоматически блокируются

  • 404 Scanners:

    IP, генерирующие много 404 ошибок:

  • Сканирование путей
  • Поиск уязвимостей
  • >50 404 за час = блокировка

  • Паттерны User-Agent


    Базы User-Agent паттернов:


    Bad User-Agents (7K+ паттернов):

    Известные вредоносные User-Agent:

  • Сканеры: nikto, nmap, sqlmap
  • Скрейперы: Scrapy, Python-urllib
  • SEO боты: AhrefsBot, MJ12bot, SemrushBot
  • Старые боты: YandexBot/1.0

  • Fake Browsers:

    Паттерны поддельных браузеров:

  • Chrome с невалидными версиями
  • Firefox без корректных заголовков
  • Safari с Windows NT

  • Headless UA Patterns:

    Паттерны headless браузеров:

  • HeadlessChrome
  • PhantomJS
  • Puppeteer mentions

  • HTTP Clients:

    Паттерны HTTP-библиотек:

  • curl/
  • wget/
  • python-requests/
  • Go-http-client/

  • Управление:

    1. Безопасность → Базы данных → User-Agent

    2. Включите нужные базы

    3. Добавьте исключения при необходимости


    Действие при совпадении:

  • Block — заблокировать
  • Challenge — JavaScript проверка
  • Log — только логировать

  • Исключения:

    Если легитимный сервис использует нестандартный UA — добавьте в whitelist.


    Пользовательские базы


    Создание своей базы:


    Формат файла:

    Текстовый файл, один элемент на строку:

    ```

    192.168.1.1

    192.168.1.0/24

    10.0.0.1-10.0.0.255

    # Это комментарий

    ```


    Загрузка:

    1. Безопасность → Базы данных → Пользовательские

    2. Нажмите "Загрузить базу"

    3. Выберите тип: IP / User-Agent / Referrer

    4. Загрузите файл

    5. Укажите название и описание


    Лимиты:

  • Free: 1 база, до 1000 записей
  • Starter: 5 баз, до 10000 записей
  • Pro: 20 баз, до 100000 записей
  • Business: Без ограничений

  • Обновление:

  • Ручное: загрузка нового файла
  • API: PUT /api/v1/databases/{id}
  • Webhook: TrafficVeil запросит файл по URL

  • Автообновление по URL:

    1. Разместите файл на вашем сервере

    2. Укажите URL в настройках базы

    3. TrafficVeil будет обновлять каждый час


    API загрузка:

    ```bash

    curl -X POST "https://api.trafficveil.com/v1/databases"

    -H "Authorization: Bearer {token}"

    -F "file=@blocklist.txt"

    -F "name=My Blocklist"

    -F "type=ip"

    ```


    Привязка баз к доменам


    Как привязать базу к домену:


    Глобальные базы:

    Применяются ко всем доменам аккаунта:

    1. Безопасность → Базы данных

    2. Найдите нужную базу

    3. Включите переключатель "Глобально"


    Базы для конкретного домена:

    1. Откройте настройки домена

    2. Вкладка "Безопасность" → "Базы данных"

    3. Выберите базы для привязки

    4. Сохраните


    Приоритет применения:

    1. Whitelist домена (высший)

    2. Whitelist глобальный

    3. Blacklist домена

    4. Blacklist глобальный

    5. Публичные базы (IPsum, Bitwire)

    6. Авто-собираемые базы


    Управление через панель:

  • Безопасность → Базы данных
  • Клик на базу → Настройки
  • Вкладка "Домены" → выбор доменов

  • Статистика:

    Для каждой базы отображается:

  • Количество записей
  • Количество блокировок за день/неделю
  • Последнее обновление
  • Статус (активна/отключена)

  • Уведомления:

    Настройте уведомления при:

  • Обновлении базы
  • Большом количестве блокировок
  • Ошибке обновления

  • Рекомендации


    Рекомендуемый набор баз:


    Для обычного сайта:

  • ✅ IPsum Level 3 (рекомендуемый)
  • ✅ Bitwire Inbound
  • ✅ Bad User-Agents
  • ✅ Авто-собираемые базы

  • Для интернет-магазина:

  • ✅ IPsum Level 3
  • ✅ Bitwire Inbound
  • ✅ Bad User-Agents
  • ✅ Авто-собираемые базы
  • ✅ Bad Referrers

  • Для финансового сервиса:

  • ✅ IPsum Level 5 (строже)
  • ✅ Bitwire Inbound + Outbound
  • ✅ Все User-Agent паттерны
  • ✅ Авто-собираемые базы

  • Не рекомендуется:

  • ❌ IPsum Level 1 — много false positives
  • ❌ All Known Bots — заблокирует поисковики

  • При ложных срабатываниях:

    1. Проверьте логи блокировок

    2. Найдите IP/UA в логах

    3. Добавьте в Whitelist

    4. Или отключите проблемную базу


    Мониторинг:

  • Проверяйте логи первые 24 часа
  • Настройте уведомления
  • Следите за false positives