Один токен, два разных Owler — и это меняет всю политику

Если фильтровать access.log по owler, часто всплывает целый пласт машинных хитов — это и есть Owler. Но прежде чем решать allow или deny, стоит выяснить: под этим коротким именем скрываются как минимум две совершенно разные, никак не связанные структуры, и политика для них противоположная.

Два разных Owler — сверьте полную строку UA

Практический вывод: не принимайте решение по одному короткому токену «owler» — откройте полную строку User-Agent в логах и проверьте, есть ли там ows.eu.

Что такое Owler.com-бот

Владелец — коммерческая платформа Owler.com, которая собирает публично доступную информацию о компаниях (выручка, число сотрудников, конкуренты, руководство, сделки) для собственной базы бизнес-аналитики. Данные затем используются клиентами платформы для конкурентной разведки, поиска лидов и обогащения CRM-систем.

Если ваш сайт — корпоративный сайт компании с публичной информацией о выручке, штате или руководстве, это, вероятно, объясняет визит: Owler.com посчитал вашу компанию релевантной для базы своих клиентов.

Что такое OWLer (OpenWebSearch.eu)

Это исследовательский краулер отдельного, не связанного с Owler.com проекта — некоммерческой инициативы по созданию открытого веб-индекса как альтернативы закрытым поисковым экосистемам. У проекта есть официальная страница с прозрачной политикой для вебмастеров.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у owler может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти Owler в логах

# Базовый поиск
grep -i "owler" /var/log/nginx/access.log

# Проверьте полную строку — есть ли упоминание ows.eu
grep -i "owler" /var/log/nginx/access.log | sed -n 's/.*"\([^"]*\)".*/\1/p' | sort -u

# Топ URL, которые вычитывает бот
grep -i "owler" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "owler" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Верификация

Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для Owler

Если полная строка UA указывает на OpenWebSearch.eu (содержит ows.eu):

# Полный запрет
User-agent: Owler
Disallow: /

# Разрешить индексацию для поиска, но запретить использование для обучения ИИ
User-agent: Owler
Allow: /

User-agent: GenAI
Disallow: /

Если полная строка похожа на бот Owler.com (без ows.eu) — используйте стандартный подход при отсутствии подтверждённой политики:

# Жёсткий запрет
User-agent: owler
Disallow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: owler
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: Disallow/403 для owler, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "owler") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=owler:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "owler") {
        limit_req zone=owler burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} owler [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите owler в ботах домена или в /system/bots — по возможности проверьте полную строку UA, а не только короткий токен
• Для сценария Owler.com без подтверждённой политики — категория «запретить»; для мягкого — rate-limit
• Для OpenWebSearch.eu — можно разрешить, если интересна видимость в открытом альтернативном поисковом индексе, и точечно ограничить только AI-обучение через GenAI
• После изменения сверьте логи: хиты Owler должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с Owler

• Сначала проверьте полную строку UA — от этого зависит вся дальнейшая политика
• Owler.com без подтверждённой пользы — Disallow/403
• OpenWebSearch.eu — решение по бизнес-пользе: видимость в открытом индексе может быть интересна медиа- и контентным проектам
• Если нагрузка мешает — сначала rate-limit, затем полный запрет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot
• Что будет при блокировке: критичных потерь для основного SEO не будет, если это не поисковик и не ваш сервисный агент