uipbot — токен, за которым скрывается не полностью анонимный агент: полная строка User-Agent содержит контактный email, указывающий на домен semasio.net — немецкую ad-tech компанию Semasio, специализировавшуюся на семантическом анализе веб-контента для контекстного таргетинга рекламы. Официального публичного заявления самой компании о точном назначении именно этого бота нет, поэтому дальнейшее — обоснованная версия, а не стопроцентно подтверждённый факт. В каталоге TrafficVeil бот помечен как нежелательный в категории «Прочие краулеры и сервисы».
Что такое uipbot на самом деле
Полная строка User-Agent бота выглядит так: uipbot/1.0 (uipbot@semasio.net) — контактный адрес прямо указывает на компанию Semasio. Semasio работала в сфере ad-tech и audience data: семантический анализ содержимого страниц использовался для классификации тематики контента и построения аудиторных профилей в целях контекстного и programmatic-таргетинга рекламы. Если эта связь верна, назначение uipbot логично вписывается в этот профиль: бот вычитывает страницы, чтобы понять их тематику и контекст — не для индексации в поиске и не для мониторинга доступности, а для нужд рекламной экосистемы, частью которой мог быть сайт (например, через рекламные сети или DMP-интеграции).
| Параметр | Значение |
| Название | uipbot |
| User-Agent (токен/паттерн) | uipbot (полная строка: uipbot/1.0 (uipbot@semasio.net)) |
| Оператор | По контактному email в UA — вероятно Semasio, ad-tech компания, специализировавшаяся на семантическом анализе контента для рекламного таргетинга |
| Назначение | Вероятно — анализ тематики страниц для контекстного/audience-таргетинга рекламы; официально не подтверждено |
| Список IP-адресов | ❌ Официального списка не публикуется; проверяйте ASN/поведение и не полагайтесь только на UA |
| Соблюдение robots.txt | Зависит от оператора; для точного ответа стоит проверить поведение по факту логов на вашем домене |
| Используется для обучения моделей | Не задокументировано явно |
| Категория TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
Как работает uipbot
Идентифицируется в access.log по паттерну User-Agent uipbot; выполняет автоматические HTTP(S)-запросы к публичным URL сайта. Если гипотеза про семантический анализ для рекламного таргетинга верна, ожидаемое поведение — систематический проход по содержательным страницам сайта (а не служебным разделам), чтобы собрать достаточно текста для классификации тематики.
Нагрузка на сервер
На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий. Даже при умеренной средней частоте на одном домене возможны локальные всплески, похожие на L7-нагрузку: много 200 OK без роста реальных сессий. Признаки проблемной активности:
- рост RPS без роста конверсий;
- обход пагинации/каталога;
- повторяющиеся запросы к тяжёлым страницам;
- давление на origin CPU и bandwidth.
Обнаружение в логах
# Все запросы
grep -i "uipbot" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "uipbot" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "uipbot" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "uipbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать. Для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — и обратите внимание, действительно ли контактный email в полной строке заголовка соответствует uipbot@semasio.net, поскольку именно это — единственная содержательная зацепка для идентификации оператора:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: uipbot Disallow: / # Точечное ограничение User-agent: uipbot Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: uipbot Allow: /
Учитывайте: не все агенты строго соблюдают robots.txt, а без подтверждённой официальной документации гарантий здесь ещё меньше, чем обычно. Для гарантированного контроля используйте серверные правила или TrafficVeil.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "uipbot") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=uipbot:10m rate=15r/m;
location / {
if ($http_user_agent ~* "uipbot") {
limit_req zone=uipbot burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} uipbot [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - найдите uipbot / uipbot;
- поставьте категорию «запретить» или оставьте разрешённым согласно политике — учитывая вероятную рекламно-технологическую природу бота, для большинства сайтов запрет будет разумным выбором по умолчанию;
- при необходимости используйте массовые операции allow/deny без правки origin;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- В базе TrafficVeil помечен как нежелательный — по умолчанию рекомендуется запрет или жёсткий rate-limit;
- если сайт участвует в programmatic-рекламных сетях или DMP-интеграциях, стоит уточнить, не связан ли этот бот с одной из них, прежде чем блокировать;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков чаще достаточно rate-limit вместо полного 403.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный |
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Сайт связан с рекламной сетью или DMP, куда мог входить Semasio | Уточнить перед блокировкой — allow может быть частью действующей рекламной интеграции |
| Связи с рекламными сетями нет или она не важна | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Нужен доступ, но беспокоит частота | Rate-limit вместо полной блокировки |
| Нежелательный бот по базе TrafficVeil | Запретить в /system/bots и контролировать по логам |