SemanticVisions — краулер пражской компании Semantic Visions (платформа OSINT / market & risk intelligence, свEye). Обходит открытые новости, блоги и публичные источники для event/entity-аналитики. Не Googlebot.
Параметры
| Параметр | Значение |
|---|---|
| UA-токен | semantic-visions (в логах также semantic-visions.com crawler / discovery); реальная строка: Mozilla/5.0 (X11; compatible; semantic-visions.com crawler; HTTPClient 3.1) |
| Оператор | Semantic Visions — компания из Праги, Чехия, основана в 2011 году Франтишеком Врабелом; с 2025 года принадлежит инвестиционной группе Behind Investments |
| Назначение | Сбор open-source данных (новости, блоги, публичные источники) для платформы risk-intelligence свEye |
| Сайт | semantic-visions.com |
| IP-лист | ❌ Нет компактного официального feed |
Реальный масштаб операции
По собственным данным компании, Semantic Visions обрабатывает свыше 1 миллиона документов ежедневно, извлекая из них сущности и распознавая свыше 10 000 тематических категорий и более 520 типов событий. Платформа свEye отслеживает свыше 10 миллионов компаний по всему миру на 12 языках, опираясь на более чем 10 лет накопленных исторических данных.
Кто клиент и кому реально выгоден этот трафик
НагрузкаКонтроль
grep -i "semantic-visions" /var/log/nginx/access.logUser-agent: semantic-visions
Disallow: /if ($http_user_agent ~* "semantic-visions") {
return 403;
}Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Рекомендации
- Нет пользы от OSINT-индексации — запретить в TrafficVeil
- На Google не влияет — это независимая от поисковой индексации инфраструктура
- robots дублируйте на сервере, поскольку официального компактного списка IP для верификации нет
Частые вопросы
Где базируется компания Semantic Visions и когда основана?
Сколько документов обрабатывает платформа ежедневно?
Кто является клиентом платформы свEye?
Есть ли прямая польза владельцу сайта от визитов этого краулера?
Кто основные конкуренты Semantic Visions на этом рынке?
Публикует ли компания официальный список IP для верификации краулера?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.