proximic — web crawler Comscore для contextual advertising / анализа инвентаря: читает статический текст страниц, без исполнения JS для ad impressions (по их docs).
Параметры
| Параметр | Значение |
|---|---|
| UA | Mozilla/5.0 (compatible; proximic; +https://www.comscore.com/Web-Crawler) |
| Docs | comscore.com/Web-Crawler |
| Частота | По умолчанию ~1 req/s; регулируется Crawl-Delay; фактическая частота зависит от типа контента, изменяемости страницы, числа рекламных мест и других факторов |
| robots.txt | Да |
| Токен | proximic |
Немного истории: от AltaVista до Comscore
proximic — не новичок на рынке: сервис запущен ещё в 2006–2007 годах Филиппом Пипером и математиком Томасом Нитше, базировался в Пало-Альто с R&D-подразделением в Мюнхене, в 2010 году интегрировался с рекламной платформой AppNexus, в 2015-м был приобретён Comscore, а в 2023-м окончательно ребрендирован в «Proximic by Comscore». Любопытная деталь для контекста: главный научный сотрудник компании Луи Монье — один из соучредителей легендарного поисковика AltaVista.
Официальная позиция о пользе для паблишеров
Comscore прямо заявляет: многие премиальные издатели осознанно разрешают их краулер, а паблишеры получают выгоду от контекстной аналитики по своему контенту, которая помогает точнее размещать релевантную рекламу и поддерживать brand safety — то есть предотвращать показ рекламы на страницах, не соответствующих её тематике.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
О чём говорит частота визитов
По независимым наблюдениям, proximic обычно возвращается к небольшому набору конкретных страниц, а не обходит весь сайт целиком — частота может быть почасовой, ежедневной или еженедельной в зависимости от того, отслеживает ли конкретный клиент Comscore именно этот сайт. Сайты, которыми ни один клиент не интересуется, бот может вообще никогда не посетить. Заметная активность обычно означает, что кто-то из рекламодателей — оценивает бренд-безопасность, измеряет объявления или собирает конкурентную аналитику — целенаправленно интересуется именно вашими страницами.
Важная оговорка по верификации
Официального метода криптографической проверки подлинности proximic не публикует — совпадение строки UA в логах является лишь подсказкой, а не доказательством. Любой клиент технически может присвоить себе эту строку. Полезный практический ориентир из опыта вебмастеров: у настоящего бота почти всегда есть предшествующий запрос к самому robots.txt перед обходом страниц — если в логах видна «активность proximic» без единого обращения к файлу директив, это повод усомниться в подлинности источника.
Нагрузка
По сводке TrafficVeil — порядка 60 запросов.
Контроль
grep -i "proximic" /var/log/nginx/access.logUser-agent: proximic
Disallow: /
# или замедлить:
User-agent: proximic
Crawl-Delay: 2Рекомендации
- Нужен contextual intel Comscore / programmatic — Allow
- Не хотите — Disallow + deny
- На Google не влияет
Частые вопросы
Как давно существует сервис proximic?
Какая известная связь есть у главного научного сотрудника компании?
Почему proximic может заходить только на несколько конкретных страниц сайта?
Можно ли доверять совпадению строки UA как доказательству подлинности proximic?
Как на практике отличить настоящий бот от подделки под proximic?
В чём официально заявленная польза для паблишеров от визитов proximic?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.