ConvermaxBot: возможно, ваш собственный поисковый виджет

ConvermaxBot — снова случай из серии «это, скорее всего, ваш собственный инструмент», как уже разбиралось с MainWP и BlogVault, только для другой задачи: это краулер Convermax, реального e-commerce сервиса поиска по сайту (в том числе специализированного Year-Make-Model поиска для интернет-магазинов автозапчастей на Shopify и BigCommerce). Бот официально задокументирован в каталоге Cloudflare Radar — редкость для записей категории «нежелательный».

1. Что такое ConvermaxBot на самом деле

Convermax — компания (основатель и CEO Алекс Щербачёв), которая продаёт интернет-магазинам виджет поиска по сайту: умный автокомплит, поиск по названию товара, категории, описанию и статьям блога, понимающий структурированные запросы вроде «хлопковая футболка до $50» или «52 дюйма LCD». С 2018 года компания дополнительно специализируется на нише автозапчастей — предоставляет Year-Make-Model поиск (подбор запчастей по году, марке и модели автомобиля) для магазинов на Shopify, BigCommerce и других платформах.

Чтобы поисковый виджет работал, Convermax нужно проиндексировать каталог товаров конкретного магазина, который подключил их сервис — именно это, скорее всего, и есть основная функция ConvermaxBot: не стороннее SEO-исследование чужих сайтов, а индексация каталога магазина ради поисковой функции, которую сам владелец магазина заказал и установил.

2. Зачем ConvermaxBot приходит на сайт

• индексация каталога товаров и контента (страницы, блог) для работы поискового виджета и автокомплита, установленного владельцем магазина;
• для магазинов автозапчастей — сбор данных о совместимости товаров с конкретными годом/маркой/моделью автомобиля для fitment-поиска;
• обновление поискового индекса по мере изменений в каталоге — регулярная, но привязанная к конкретному подключённому магазину активность, а не случайный сторонний обход.

Типичный кейс: сайт на Shopify или BigCommerce в нише e-commerce (особенно автозапчасти) регулярно посещается ConvermaxBot — прежде чем реагировать как на нежелательный трафик, стоит проверить, не установлено ли на самом магазине приложение Convermax.

3. Нагрузка и риски

Если магазин сам использует Convermax — прямая польза очевидна: без индексации каталога поисковый виджет, за который магазин платит, просто не будет работать корректно. Блокировка в этом случае вредит не постороннему боту, а собственной функциональности сайта.

Если магазин точно не подключён к Convermax, а бот всё равно заходит — это уже ближе к классическому сценарию стороннего SEO/конкурентного краулинга: по независимой классификации Convermax также относят к категории SEO-краулеров, которые могут анализировать чужие сайты в рамках конкурентной разведки клиентов сервиса. В этом случае обычная логика «нет пользы — блокируйте» применима без ограничений.

4. Как найти ConvermaxBot в логах

# Базовый поиск
grep -i "convermaxbot" /var/log/nginx/access.log

# Топ URL — совпадение с товарными карточками подтверждает гипотезу об индексации каталога
grep -i "convermaxbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "convermaxbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "convermaxbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка: установлено ли приложение Convermax в админке платформы
# (для Shopify/BigCommerce — проверяется вручную в разделе установленных приложений)

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — но здесь есть более простой первый шаг, чем ASN-проверка: посмотреть в панели управления магазином, установлено ли приложение или виджет Convermax, прежде чем переходить к техническим методам:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для ConvermaxBot

# Жёсткий запрет — если магазин не использует Convermax
User-agent: convermaxbot
Disallow: /

# Разрешить всё — необходимо, если магазин использует поиск/автокомплит Convermax
User-agent: convermaxbot
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "convermaxbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=convermaxbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "convermaxbot") {
        limit_req zone=convermaxbot burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} convermaxbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• прежде чем блокировать — проверьте, не установлен ли на магазине виджет поиска Convermax;
• если используется — allow, блокировка сломает функциональность, за которую магазин платит;
• если магазин точно не клиент Convermax — Disallow и запрет в TrafficVeil обоснованы, здесь применима стандартная логика для SEO/конкурентных краулеров;
• после изменения сверьте логи и, если применимо, проверьте работоспособность поиска на самом сайте.

7. Что делать: короткий алгоритм

• Первый шаг: проверить в админке платформы, установлено ли приложение Convermax;
• Установлено и используется — allow, это ваша собственная поисковая инфраструктура;
• Не установлено — Disallow + запрет в TrafficVeil, здесь бот ведёт себя как обычный сторонний SEO-краулер без прямой пользы для сайта;
• Магазин на автозапчастевой нише, но Convermax не используется — конкурентов, использующих Convermax, это не остановит от анализа рынка, но прямого риска для контента при этом нет;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Базовая пометка «нежелательный» подходит для сценария, когда сайт не является клиентом Convermax — но не учитывает сценарий, в котором это трафик собственного поискового виджета магазина, за который он платит. Рекомендую добавить в саму запись явную пометку «сначала проверьте, не установлен ли Convermax на этом магазине» — по аналогии с тем, как уже сформулированы статьи про MainWP и BlogVault.

9. Стратегия allow/deny для ConvermaxBot