StormIntelCrawler в логах TrafficVeil — краулер с этим идентификатором в User-Agent. Устойчивой официальной страницы политики, IP-листа и заявленной пользы для сайта обычно нет.
Не путать с Apache StormCrawler (и это не единственная путаница)
| StormIntelCrawler | Apache StormCrawler | |
|---|---|---|
| Что это | Конкретный UA в трафике | Open-source фреймворк для своих краулеров |
| Оператор | Не подтверждён публично | Любой, кто развернул framework |
| UA | StormIntelCrawler … | Задаётся в конфиге (http.agent.name и др.) |
Совпадение слова «Storm» ≠ один продукт — и это не преувеличение ради красного словца. У Apache StormCrawler строка User-Agent полностью настраивается разработчиком: имя, версия, описание, ссылка на политику — всё указывается вручную при развёртывании, поэтому под одним и тем же фреймворком в логах разных сайтов могут встречаться совершенно разные, никак не связанные между собой строки UA. При этом в открытых каталогах ботов встречается и третий, отдельный игрок — генерик-скрапер с названием просто «StormCrawler» (без «Intel»), который трекеры связывают с иной компанией. Итого — минимум три разных сущности со словом «Storm» в имени, ни одна из которых не гарантирует связь с двумя другими.
Параметры
| Параметр | Значение |
|---|---|
| Токен | StormIntelCrawler |
| Оператор / docs | ❌ Нет устойчивых публичных источников |
| IP-лист | ❌ Нет |
| robots.txt | Не гарантировано |
Почему такое имя вообще могло появиться
Название «StormIntelCrawler» намекает на разведывательную (intel) функцию — сбор данных для аналитики, мониторинга угроз или конкурентной разведки. Это не подтверждённый факт, а лишь наблюдение по структуре имени: подобные составные названия («X-Intel-Crawler», «Y-Intelligence-Bot») часто используют внутренние или узкоспециализированные инструменты компаний, которые никогда не публиковали материалы для вебмастеров, потому что не рассчитывали на массовое присутствие в чужих логах.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Нагрузка
По сводке TrafficVeil паттерн stormintelcrawler — порядка 10 тысяч запросов (март–июнь 2026, июнь по 14.06). Объём умеренный; при отсутствии подтверждённого оператора стоит зафиксировать эту цифру как отправную точку для последующих сравнений.
Контроль
grep -i "StormIntelCrawler" /var/log/nginx/access.logUser-agent: StormIntelCrawler
Disallow: /if ($http_user_agent ~* "StormIntelCrawler") {
return 403;
}Как не задеть посторонних при настройке правил
- Используйте точное совпадение строки
StormIntelCrawler, а не общий паттерн со словом «Storm» — иначе рискуете заблокировать легитимные инстансы Apache StormCrawler с корректно настроенным agent.name у совершенно других операторов - Если в правилах antibot уже есть запись про StormCrawler (без «Intel»), проверьте, что это не смешивается с текущей записью — по факту это разные строки и разные, не связанные друг с другом источники
- При сомнениях сверяйте логи построчно, а не полагайтесь на регулярку с wildcard посередине слова
Рекомендации
- Нет доказанной пользы — deny в TrafficVeil
- На позиции в Google не влияет
- Не баньте все UA со словом «Storm» — можно случайно задеть легитимные инстансы StormCrawler с нормальным agent.name, развёрнутые совершенно другими операторами
Частые вопросы
Сколько разных сущностей скрывается за словом «Storm» в User-Agent?
Можно ли считать все Storm-боты одним оператором?
Почему у Apache StormCrawler такие разные строки UA на разных сайтах?
Как правильно настроить правило блокировки, чтобы не задеть чужие StormCrawler-инстансы?
О чём может говорить слово «Intel» в названии StormIntelCrawler?
Стоит ли блокировать StormIntelCrawler по умолчанию?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.