Quantcastbot — не безымянный «краулер с целью, зависящей от оператора», а официально задокументированный бот крупной ad-tech компании Quantcast (с 2006 года, штаб-квартира в Сан-Франциско). У него узкая и чётко описанная роль: проверка качества рекламных объявлений и анализ контента страниц для технологии Interest-Based Audiences. Появление этого бота на сайте — не случайность, а прямое следствие того, что через рекламную сеть Quantcast на этот сайт ведёт хотя бы одно объявление. В каталоге TrafficVeil бот помечен как нежелательный в категории «Прочие краулеры и сервисы».
Что такое Quantcastbot на самом деле
Quantcast использует автоматизированную технологию контроля качества (QA), которая регулярно и автономно проверяет рекламные объявления в процессе их показа посетителям сайтов. Ключевая деталь, прямо указанная самим оператором: Quantcastbot не будет обращаться к вашему сайту, если только Quantcast не размещает рекламу, ведущую по клику именно на него. Бот посещает исключительно посадочную страницу объявления — он не обходит остальной контент сайта.
Параллельно с этим Quantcast ежедневно обходит выборку из 2-5 миллионов сайтов, чтобы понять содержание страниц: обрабатывает заголовок и описание из шапки страницы, а также текстовые поля из тела — заголовки и параграфы. Эти данные используются для категоризации интересов аудитории и технологии Interest-Based Audiences (IBA), которая помогает показывать релевантную рекламу нужным пользователям.
| Параметр | Значение |
| Название | Quantcastbot |
| User-Agent (токен/паттерн) | quantcastbot (официальная строка: Quantcastbot/1.0 (+http://www.quantcast.com/bot) или Quantcastbot/2.0) |
| Оператор | Quantcast Corporation — ad-tech компания (реклама, аудиторная аналитика и измерение) |
| Назначение | Контроль качества рекламных объявлений (визит на посадочную страницу после клика) и категоризация контента для Interest-Based Audiences |
| Список IP-адресов | ❌ Отдельный официальный список есть не у всех операторов; проверяйте ASN/документацию владельца бота и не полагайтесь только на UA |
| Соблюдение robots.txt | Официально подтверждённое правило существует (User-agent: Quantcastbot / Disallow: /), но сам оператор прямо заявляет: при переходе по клику на объявление бот не соблюдает директивы robots.txt — это сделано намеренно, чтобы проверить именно посадочную страницу рекламы |
| Используется для обучения моделей | Не задокументировано явно — назначение про рекламные QA и аудиторную категоризацию, а не про обучение общей AI-модели |
| Категория TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
Как работает Quantcastbot
Идентифицируется в access.log по паттерну User-Agent quantcastbot. Если визиты этого бота концентрируются на одной-двух конкретных посадочных страницах — это прямое свидетельство того, что через рекламную сеть Quantcast на сайт показывается реклама, ведущая именно туда. Несколько визитов подряд — нормальное явление: рекламные объявления проверяются регулярно, пока идёт показ.
Отдельно стоит знать: если на сайте установлен измерительный тег Quantcast Measure, робот и паучьи визиты (включая Quantcastbot) автоматически исключаются из подсчёта трафика — то есть эта часть инфраструктуры Quantcast работает независимо от бота-краулера.
Нагрузка на сервер
На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий, но по описанию оператора нагрузка от Quantcastbot-QA должна быть узкой — концентрированной на конкретной посадочной странице объявления, а не системным обходом сайта. Признаки, на которые стоит обратить внимание:
- концентрация на одной-двух конкретных URL, соответствующих активным рекламным кампаниям — это ожидаемо;
- широкий системный обход всего каталога — нехарактерно для заявленной функции и повод присмотреться внимательнее;
- рост RPS без роста конверсий, характерный для любого автоматизированного fetch-бота.
Обнаружение в логах
# Все запросы
grep -i "quantcastbot" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "quantcastbot" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "quantcastbot" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "quantcastbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать. Для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — и в первую очередь посмотрите, действительно ли запрошенные URL совпадают с посадочными страницами вашей рекламы через Quantcast, если она у вас есть:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: quantcastbot Disallow: / # Точечное ограничение User-agent: quantcastbot Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: quantcastbot Allow: /
Важная оговорка: официальное правило блокировки для Quantcastbot существует, но само поведение бота при переходе по клику на рекламу намеренно игнорирует эти директивы — это заложено в логику QA-проверки. Значит, robots.txt здесь работает только для сценария категоризации контента, но не для контроля рекламных QA-визитов.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "quantcastbot") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=quantcastbot:10m rate=15r/m;
location / {
if ($http_user_agent ~* "quantcastbot") {
limit_req zone=quantcastbot burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} quantcastbot [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - если сайт размещает рекламу через Quantcast — учтите, что жёсткая блокировка может сорвать QA-проверку ваших же объявлений;
- если сайт с Quantcast никак не связан — смело ставьте «запретить»;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- Прежде чем блокировать — выясните, не размещаете ли вы (или партнёр) рекламу через Quantcast: визиты бота на конкретную посадочную страницу могут быть частью нормальной проверки качества именно вашей рекламной кампании;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков чаще достаточно rate-limit вместо полного 403;
- помните, что для сценария с переходом по клику на рекламу robots.txt не остановит бота — контроль здесь только на уровне сервера или TrafficVeil.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный |
Сводная таблица стратегии
| Ситуация | Действие |
| Сайт размещает рекламу через Quantcast | Учесть, что блокировка может помешать QA-проверке собственных объявлений — allow разумнее |
| Сайт с Quantcast никак не связан | Disallow + запрет в TrafficVeil или 403 на nginx/Apache — заметной пользы не будет |
| Визиты концентрируются на одной посадочной странице рекламы | Это ожидаемое поведение QA-проверки, а не аномалия |
| Визиты расползаются по всему каталогу без видимой связи с рекламой | Проверить IP/ASN — возможен спуфинг или другая активность под этим UA |