MailChimp в логах: почему это не ваша рассылка, а чужая

MailChimp стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Прочие краулеры и сервисы» — и, что важно, за визитом далеко не всегда стоит ваша собственная команда маркетинга. Появление mailchimp в access.log почти всегда означает работу Omnivore — автоматической системы защиты от злоупотреблений Mailchimp. При каждой отправке email-кампании через Mailchimp система проверяет все ссылки в письме на вредоносный контент, прежде чем применить собственный клик-трекинг сервиса. Иными словами: это разовая проверка безопасности конкретной ссылки, а не установка или верификация виджета на сайте. Оператор: Mailchimp (Intuit). Классификация: легитимный сервис; решение allow/deny стоит принимать по бизнес-пользе, а не блокировать «на всякий случай».

Параметры

Кто на самом деле инициирует визит — и это не всегда владелец сайта

Здесь важно не путаться в логике allow/deny. В отличие от ботов, которые заходят на сайт, потому что сама команда сайта подключила сервис (как это бывает с аналитикой или мониторингом ошибок), MailChimp/Omnivore может прийти на ваш сайт, если **любой** пользователь Mailchimp где угодно в мире отправил email-рассылку со ссылкой на ваш домен — партнёр, аффилиат, журналист, клиент, упомянувший вас в дайджесте, или даже случайный пользователь.

• Какие зоны чаще трогает: конкретные URL, вставленные в чьи-то email-кампании — не сайт целиком
• Что ищет: признаки вредоносного контента или фишинга на конкретной странице, на которую ведёт ссылка из письма
• Чем отличается от браузерного пользователя: нет обычной сессии, разовый или редкий заход именно на ту страницу, что фигурирует в чьей-то рассылке

Практический вывод: заметный трафик под этим UA — не сигнал того, что ваш сайт использует Mailchimp, а сигнал того, что кто-то стороннний ссылается на вас в email-рассылках. Это скорее нейтральный или даже позитивный факт (вас упоминают), чем повод для беспокойства.

Побочный эффект: искажение метрик у отправителя письма

Тот же механизм Omnivore и смежная защита от ботов (например, Apple Mail Privacy Protection) на стороне Mailchimp — частая причина, почему статистика открытий и переходов по ссылкам в отчётах Mailchimp не совпадает с данными Google Analytics на принимающем сайте: спам-фильтры и системы защиты кликают по ссылкам до того, как письмо доходит до живого человека, и это засчитывается как клик в Mailchimp, но не создаёт сессию в аналитике сайта. Если к вам обращаются клиенты с вопросом о таком расхождении — это объяснение можно использовать напрямую.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у mailchimp может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и небольшое искажение статистики «живого» трафика — обычно минимальное, поскольку проверка идёт по конкретным URL, а не по всему сайту.

Как найти MailChimp в логах

# Базовый поиск
grep -i "mailchimp" /var/log/nginx/access.log

# Топ URL, которые проверяет система
grep -i "mailchimp" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "mailchimp" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "mailchimp" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для MailChimp

# Жёсткий запрет
User-agent: mailchimp
Disallow: /

# Разрешить всё
User-agent: mailchimp
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: mailchimp
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "mailchimp") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=mailchimp:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "mailchimp") {
        limit_req zone=mailchimp burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} mailchimp [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите mailchimp / MailChimp в ботах домена или в /system/bots
• Объём небольшой и трафик безвреден по сути (антифишинговая проверка) — обычно можно оставить allow
• Если нагрузка всё же мешает — rate-limit достаточен в большинстве случаев, полный запрет редко нужен

Рекомендации: что делать с MailChimp

• Не рассматривайте этот трафик как признак использования Mailchimp именно вашей командой — источник может быть где угодно
• Если пользы нет и нагрузка ощутима — Disallow/403, критичных потерь для функциональности не будет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot
• Блокировка не влияет на позиции в поиске — это не SEO-краулер