Innguma: вероятно, бот баскской платформы технологической и конкурентной разведки

Innguma — вероятно, не безымянный скрапер, а платформа технологической разведки и конкурентной аналитики (Vigilancia Tecnológica e Inteligencia Competitiva), разработанная в Стране Басков и связанная с технологическим центром IK4-IDEKO — тем самым, что участвовал в получении сертификации UNE 166.002, подтверждающей качество систем НИОКР для технологических центров Баскской сети науки, технологий и инноваций (RVCTI). Это коммерческий B2B-инструмент, а не открытый исследовательский проект.

Чем занимается платформа и зачем ей нужен веб-краулер

По собственному описанию, Innguma предлагает организациям инструменты конкурентной разведки: совместную сеть и общее пространство для хранения контента, доступное всем участникам организации-клиента (тариф Innguma Business), а также возможность развернуть полностью кастомизированный портал под собственный корпоративный стиль (тариф Innguma Corporate). Ценообразование ощутимо корпоративное — базовый годовой тариф порядка 3 564 евро, с доплатой около 99 евро в месяц за каждого дополнительного пользователя, что указывает на нишевую B2B-аудиторию, а не массовый потребительский продукт.

Для платформы такого профиля — систематического мониторинга технологических трендов, патентов, публикаций и активности конкурентов для клиентов из промышленной и исследовательской среды — краулер, систематически обходящий веб в поисках релевантного контента, является логичным техническим компонентом: именно так собирается сырьё для отчётов конкурентной и технологической разведки, которые платформа предоставляет своим клиентам.

Параметры бота

Почему это меняет практическую оценку по сравнению с полностью анонимным ботом

В отличие от ботов вроде Assaybot или EpivozCrawler, где даже правдоподобная версия оператора отсутствует, здесь есть конкретный, действующий на рынке коммерческий продукт с понятной бизнес-моделью и вероятным техническим назначением краулера. Это не означает автоматического разрешения — платформа технологической разведки по-прежнему собирает контент сайта в интересах третьих лиц (клиентов Innguma), а не самого владельца сайта, — но позволяет принимать решение осознанно, а не вслепую.

Как найти бота в логах

# Базовый поиск
grep -i "innguma" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "innguma" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Поскольку официального списка IP нет, для проверки подлинности при аномальной активности стоит свериться с ASN конкретных IP через whois.

Стоит ли блокировать

• если сайт публикует технологический, исследовательский или отраслевой контент, который может представлять интерес для клиентов платформ конкурентной разведки, — присутствие бота типично для этой ниши и не несёт признаков злонамеренности, хотя и не приносит прямой выгоды владельцу сайта;
• если сайт не заинтересован в том, чтобы его контент попадал в чужие коммерческие отчёты технологической разведки, — блокировка обоснована;
• на позиции в поисковой выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это не поисковый краулер ни одной из систем.

Как заблокировать

Стандартный запрет через robots.txt:

User-agent: innguma
Disallow: /

if ($http_user_agent ~* "innguma") {
    return 403;
}

Если задача не полная блокировка, а контроль частоты при заметной нагрузке:

limit_req_zone $binary_remote_addr zone=innguma:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "innguma") {
        limit_req zone=innguma burst=20 nodelay;
    }
}