Ставка на price/catalog-страницах, регулярные повторные визиты без единой конверсии — за этим часто стоит ev-crawler, инструмент компании Headline для business- и competitive intelligence. Сайт мониторят не из любопытства, а потому что кто-то из клиентов Headline поставил его (или целую нишу) на отслеживание: цены, каталог, анонсы, брендовые упоминания. Это не Googlebot и не AI-краулер вроде GPTBot — задача другая: не индексация и не обучение модели, а сбор коммерчески значимых сигналов для отчётов конкурентной разведки.
Параметры
| Параметр | Значение |
|---|---|
| User-Agent | Mozilla/5.0 (compatible; ev-crawler/1.0; +https://headline.com/legal/crawler) |
| Токен robots | ev-crawler |
| Оператор | Headline |
| Назначение | Intelligence gatherer: мониторинг цен, товарных позиций, брендовых материалов для клиентов Headline |
| Docs | headline.com/legal/crawler |
| IP-лист | ❌ Компактного официального feed нет |
| robots.txt | Ожидается и на практике подтверждается соблюдение — краулер описывают как придерживающийся «этичных» практик обхода |
| Влияние на Google | Нет |
Как работает и с какой скоростью
Клиент Headline ставит сайт (или целый рынок) на мониторинг — краулер периодически ходит по публичным страницам с коммерческой ценностью. Вне watchlist клиентов сайт может почти не видеть этого бота вовсе. Фокус — текст и HTML, не массовая выгрузка медиафайлов. По независимым наблюдениям, ev-crawler держит достаточно скромный темп — порядка 1–2 запросов в секунду с одного IP, что само по себе нетипично агрессивно для intelligence-инструментов этого класса. Инфраструктура распределена географически — узлы фиксировались в Северной Америке и Европе, с поддержкой как IPv4, так и IPv6. Не путайте с generic «scraper» без оператора: в UA есть прямая ссылка на политику Headline. Но сама по себе строка UA ничего не доказывает — подделать её может любой скрипт.
Кому это выгодно (и невыгодно) для владельца сайта
Прямой пользы от визитов ev-crawler для мониторящегося сайта обычно нет — если только вы сами не заинтересованы в том, чтобы попасть в отчёты и продукты market intelligence Headline. Есть и обратная сторона вопроса: если конкуренты используют такие инструменты, чтобы следить за вашими ценами и SEO-стратегией, блокировка ev-crawler может дать вам тактическое преимущество — конкуренты просто не получат актуальных данных о вашей оптимизации и позиционировании через этот канал.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Нагрузка
По сводке TrafficVeil (март–июнь 2026, июнь по 14.06) паттерн ev-crawler — порядка 24 тысяч запросов (март ~3,7 тыс., апрель ~9,5 тыс., май ~9 тыс., июнь ~1,5 тыс.). Объём умеренный и соответствует заявленному консервативному темпу обхода — резких аномальных всплесков ожидать не стоит, если только сайт не попал под особо плотный мониторинг конкретного клиента Headline.
Логи
grep -i "ev-crawler" /var/log/nginx/access.logСмотрите повторы на /price, /catalog, product/news URL — именно эти разделы представляют коммерческую ценность для intelligence-продуктов Headline. Без официального IP-листа верификация сводится к комбинации UA + поведение + ASN/датацентр — это эвристика, а не строгое доказательство подлинности.
robots.txt
User-agent: ev-crawler
Disallow: /Для частичного доступа оставьте Allow на нужные пути. Помните: robots — это сигнал, а не гарантия. Для реальной уверенности дублируйте запрет на уровне сервера.
Nginx / TrafficVeil
if ($http_user_agent ~* "ev-crawler") {
return 403;
}- Не хотите отдавать цены и каталог в BI конкурентов — Disallow + deny в TrafficVeil
- Нужна видимость в market research (например, чтобы отраслевые отчёты Headline учитывали ваш бренд) — Allow, но следите за частотой обхода
- На SEO в Google/Yandex блокировка не влияет
Стратегия
| Цель | Действие |
|---|---|
| Закрыть от intelligence-сбора | Disallow + 403 / TrafficVeil deny |
| Оставить видимость для market research | Allow публичные страницы с ценами и каталогом |
| Не дать конкурентам данные о вашей SEO-стратегии | Deny — тактическое преимущество, а не просто экономия ресурсов |
| Снизить нагрузку, не закрывая полностью | Rate-limit по UA на edge |
Частые вопросы
Зачем компании вообще нужен такой краулер, как ev-crawler?
Значит ли частое появление ev-crawler в логах, что мой сайт под особым наблюдением?
С какой скоростью обычно обходит сайт ev-crawler?
Есть ли смысл блокировать ev-crawler, если это не бьёт по SEO?
Можно ли доверять одной лишь строке User-Agent для подтверждения, что это именно ev-crawler?
Что если я, наоборот, хочу попасть в отчёты market intelligence Headline?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.