AdkernelTopicCrawler: зачем он классифицирует ваш контент и как его блокировать

Если фильтровать access.log по adkerneltopiccrawler, часто всплывает целый пласт машинных хитов — это и есть AdkernelTopicCrawler, краулер тематической классификации страниц от adtech-провайдера Adkernel. AdkernelTopicCrawler загружает страницы сайта, чтобы определить их тему и категорию контента — эти данные используются для контекстного таргетинга рекламы внутри экосистемы Adkernel (ad network, DSP, SSP, trading desk). Проще говоря: бот не индексирует сайт для поиска и не проверяет технические параметры — он «читает» страницу, чтобы решить, какая реклама впишется в её контекст. Оператор: Adkernel, white-label adtech-провайдер (DSP/SSP/trading desk решения). Классификация: в базе TrafficVeil — нежелательный, поскольку прямую пользу от визитов получают рекламные клиенты Adkernel, а не владелец сайта.

Что такое AdkernelTopicCrawler

Зачем AdkernelTopicCrawler приходит на сайт

AdkernelTopicCrawler приходит не ради вашего сайта, а ради клиентов рекламной сети Adkernel, которым нужна свежая тематическая классификация страниц для показа контекстно релевантных объявлений.

• Какие зоны чаще трогает: публичные URL с текстовым контентом — статьи, карточки товаров, категории
• Что ищет: тематику и семантику контента, а не ссылочный граф или технические метаданные
• Чем отличается от браузерного пользователя: нет полноценной сессии, регулярные повторные обходы одних и тех же страниц, отсутствие конверсионных действий

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует adkerneltopiccrawler на страницах контента и карточках. После rate-limit/запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно.

Кому выгодны визиты AdkernelTopicCrawler

Ключевой вопрос при решении allow/deny — не техническая нагрузка, а то, кто получает пользу от классификации вашего контента.

• Если вы сами размещаете рекламу через экосистему Adkernel (DSP/SSP/trading desk) — точная тематическая классификация может улучшить релевантность показов на вашем же сайте.
• Если вы Adkernel не используете — классификация идёт исключительно в пользу сторонних рекламодателей и конкурентов, которые покупают трафик через эту сеть, а сайту это не даёт ничего, кроме нагрузки.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у AdkernelTopicCrawler может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на контентных страницах.

Как найти AdkernelTopicCrawler в логах

# Базовый поиск
grep -i "adkerneltopiccrawler" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "adkerneltopiccrawler" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "adkerneltopiccrawler" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "adkerneltopiccrawler" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Подделать User-Agent может любой скрипт. Поскольку Adkernel не публикует официальный список IP или метод верификации, для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для AdkernelTopicCrawler

# Жёсткий запрет
User-agent: adkerneltopiccrawler
Disallow: /

# Разрешить всё
User-agent: adkerneltopiccrawler
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичный контент
User-agent: adkerneltopiccrawler
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: если бот игнорирует robots.txt — переходите к блокировке на уровне nginx/Apache или запрету в TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "adkerneltopiccrawler") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=adkerneltopiccrawl:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "adkerneltopiccrawler") {
        limit_req zone=adkerneltopiccrawl burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} adkerneltopiccrawler [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите adkerneltopiccrawler / AdkernelTopicCrawler в ботах домена или в /system/bots
• Если сайт не использует Adkernel — категория «запретить»; при умеренной нагрузке достаточно rate-limit
• Allow — только если вы сами клиент Adkernel и заинтересованы в точной классификации своих страниц
• После изменения сверьте логи: хиты AdkernelTopicCrawler должны уйти в блок/лимит, а поисковые роботы остаться без изменений

Рекомендации: что делать с AdkernelTopicCrawler

• Не используете Adkernel — Disallow/403, пользы от визитов нет
• Используете Adkernel и заинтересованы в точном контекстном таргетинге — Allow, закрыв служебные разделы (/admin, /cart, /api)
• Нагрузка мешает, но полностью закрывать не хочется — сначала rate-limit, затем полный запрет при повторных проблемах
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot

С кем не путать AdkernelTopicCrawler