Строка omgili в базах помечена «нежелательный» с «оператор не указан публично». На деле оператор известен и сам ведёт публичный блог про своего бота: это Webz.io (бывший Webhose.io, сейчас в составе Bright Data) — компания, которая продаёт собранные с форумов и дискуссионных площадок данные медиа-мониторам, исследовательским институтам и разработчикам, включая клиентов, использующих эти данные для обучения AI-моделей.
Что такое omgili на самом деле
Бот изначально был создан больше десяти лет назад, чтобы питать поисковую систему по обсуждениям Omgili (сейчас закрыта). Сегодня тот же краулер работает на сервис данных Webz.io: он специализируется на индексации форумов, досок объявлений и другого пользовательского контента — не обычных статей, а именно обсуждений, — чтобы предоставлять эти данные клиентам компании для анализа настроений потребителей, медиа-мониторинга и, в ряде случаев, обучения AI-моделей.
| Параметр | Значение |
| Название | omgili (также встречается как omgilibot) |
| User-Agent / паттерн | omgili/0.5 +https://omgili.com |
| Оператор | Webz.io (бывший Webhose.io), сейчас в составе Bright Data |
| Категория TrafficVeil | Коммерческий сборщик данных с форумов для перепродажи клиентам (не «прочий нежелательный сервис» без известного оператора) |
| Что делает на сайте | Индексирует дискуссионный контент — форумы, комментарии, пользовательские обсуждения — для последующей продажи данных сторонним клиентам |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Оператор заявляет о готовности соблюдать запросы владельцев сайтов и работать «взаимовыгодно» |
| Пометка TrafficVeil | Легитимный по идентификации оператора, но требует осознанного решения — данные уходят третьим лицам на коммерческой основе |
Зачем omgili приходит на сайт
Частота визитов зависит от активности форума и того, насколько ценным алгоритмы Webz.io считают контент: чем плотнее и активнее обсуждения, тем чаще может заходить бот. Оператор прямо предлагает владельцам форумов, заинтересованным в индексации, самостоятельно отправлять URL через сайт Webz.io — то есть в части случаев присутствие в индексе может быть осознанным выбором самого сайта, а не только результатом стороннего сканирования.
Почему статус здесь неоднозначный, а не однозначно «легитимный» или «нежелательный»
С одной стороны, оператор реален, публично известен, ведёт диалог с владельцами сайтов и соблюдает запросы на исключение. С другой — независимые источники по кибербезопасности отмечают, что бот «обычно расходует ресурсы сервера, не принося пользы для поисковой выдачи», и рекомендуют блокировку как безопасный вариант по умолчанию для владельцев, которым не нужно распространение их контента через сторонний коммерческий сервис данных. Итоговое решение — вопрос ценностей и бизнес-интересов конкретного сайта, а не универсальный вердикт.
Как найти omgili в логах
# Базовый поиск
grep -i "omgili" /var/log/nginx/access.log
# Какие разделы (форум, комментарии, обсуждения) вычитывает бот
grep -i "omgili" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "omgili" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить, если участие в датасете Webz.io желательно
User-agent: omgili
Allow: /
# Запретить, если нежелательна перепродажа контента третьим лицам
User-agent: omgili
Disallow: /TrafficVeil: поскольку контент попадает в коммерческий датасет, который затем продаётся многим сторонним клиентам (включая потенциально AI-компании), это не тот случай, где допустимо решение «на всякий случай разрешить» — стоит осознанно выбрать: устраивает ли распространение вашего контента через сторонний сервис данных. Оператор соблюдает запросы на исключение, поэтому Disallow должен сработать корректно.
Что в итоге делать с omgili
| Ситуация | Действие |
| Форум заинтересован в индексации и распространении через Webz.io | Allow, можно также самостоятельно отправить URL через сайт Webz.io |
| Не хочется, чтобы контент перепродавался сторонним клиентам, включая AI-компании | Disallow / запрет в TrafficVeil — оператор соблюдает такие запросы |
| Нагрузка ощутима, но принципиального возражения против сбора данных нет | Rate-limit вместо полной блокировки |
| Подозрение на спуфинг UA | Сверять по ASN, а не доверять строке UA |