Uipbot: след ad-tech компании в контактном email

uipbot — токен, за которым скрывается не полностью анонимный агент: полная строка User-Agent содержит контактный email, указывающий на домен semasio.net — немецкую ad-tech компанию Semasio, специализировавшуюся на семантическом анализе веб-контента для контекстного таргетинга рекламы. Официального публичного заявления самой компании о точном назначении именно этого бота нет, поэтому дальнейшее — обоснованная версия, а не стопроцентно подтверждённый факт. В каталоге TrafficVeil бот помечен как нежелательный в категории «Прочие краулеры и сервисы».

Что такое uipbot на самом деле

Полная строка User-Agent бота выглядит так: uipbot/1.0 (uipbot@semasio.net) — контактный адрес прямо указывает на компанию Semasio. Semasio работала в сфере ad-tech и audience data: семантический анализ содержимого страниц использовался для классификации тематики контента и построения аудиторных профилей в целях контекстного и programmatic-таргетинга рекламы. Если эта связь верна, назначение uipbot логично вписывается в этот профиль: бот вычитывает страницы, чтобы понять их тематику и контекст — не для индексации в поиске и не для мониторинга доступности, а для нужд рекламной экосистемы, частью которой мог быть сайт (например, через рекламные сети или DMP-интеграции).

Как работает uipbot

Идентифицируется в access.log по паттерну User-Agent uipbot; выполняет автоматические HTTP(S)-запросы к публичным URL сайта. Если гипотеза про семантический анализ для рекламного таргетинга верна, ожидаемое поведение — систематический проход по содержательным страницам сайта (а не служебным разделам), чтобы собрать достаточно текста для классификации тематики.

Нагрузка на сервер

На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий. Даже при умеренной средней частоте на одном домене возможны локальные всплески, похожие на L7-нагрузку: много 200 OK без роста реальных сессий. Признаки проблемной активности:

• рост RPS без роста конверсий;
• обход пагинации/каталога;
• повторяющиеся запросы к тяжёлым страницам;
• давление на origin CPU и bandwidth.

Обнаружение в логах

# Все запросы
grep -i "uipbot" /var/log/nginx/access.log

# Количество запросов за сегодня
grep -i "uipbot" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l

# Уникальные IP
grep -i "uipbot" /var/log/nginx/access.log | awk '{print $1}' | sort -u

# Частота по дням
grep -i "uipbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация: User-Agent легко подделать. Для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — и обратите внимание, действительно ли контактный email в полной строке заголовка соответствует uipbot@semasio.net, поскольку именно это — единственная содержательная зацепка для идентификации оператора:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt

# Полная блокировка
User-agent: uipbot
Disallow: /

# Точечное ограничение
User-agent: uipbot
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Allow: /

# Разрешить полностью
User-agent: uipbot
Allow: /

Учитывайте: не все агенты строго соблюдают robots.txt, а без подтверждённой официальной документации гарантий здесь ещё меньше, чем обычно. Для гарантированного контроля используйте серверные правила или TrafficVeil.

Управление на уровне сервера

Nginx

if ($http_user_agent ~* "uipbot") {
    return 403;
}

# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=uipbot:10m rate=15r/m;

location / {
    if ($http_user_agent ~* "uipbot") {
        limit_req zone=uipbot burst=30 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} uipbot [NC]
RewriteRule ^ - [F,L]

Через TrafficVeil

• откройте список известных ботов в панели домена или /system/bots;
• найдите uipbot / uipbot;
• поставьте категорию «запретить» или оставьте разрешённым согласно политике — учитывая вероятную рекламно-технологическую природу бота, для большинства сайтов запрет будет разумным выбором по умолчанию;
• при необходимости используйте массовые операции allow/deny без правки origin;
• проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.

Рекомендации по оптимизации

• В базе TrafficVeil помечен как нежелательный — по умолчанию рекомендуется запрет или жёсткий rate-limit;
• если сайт участвует в programmatic-рекламных сетях или DMP-интеграциях, стоит уточнить, не связан ли этот бот с одной из них, прежде чем блокировать;
• не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
• сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
• для всплесков чаще достаточно rate-limit вместо полного 403.

Сравнение с похожими ботами

Сводная таблица стратегии