Blogtrottr в логах: у вашей ленты есть email-подписчики

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а Blogtrottr с User-Agent вида Blogtrottr/2.1 (+https://blogtrottr.com/robot). Это легитимный и известный сервис: Blogtrottr превращает RSS и Atom-ленты в рассылку на email — пользователь один раз указывает адрес фида, и дальше получает новые записи прямо в почту, без необходимости открывать читалку.

1. Что такое Blogtrottr

У Blogtrottr есть официальная страница именно для владельцев сайтов — blogtrottr.com/robot, где сервис прямо объясняет механику своего краулера. Ключевая деталь: Blogtrottr уважает элемент <ttl> в самой RSS-ленте и использует его значение, чтобы установить интервал опроса — поддерживаются значения от 5 до 720 минут, а всё, что выше, автоматически ограничивается до 720. Это значит, что владелец сайта может управлять частотой визитов Blogtrottr не блокировкой, а просто корректно настроенным TTL в собственном фиде.

2. Зачем Blogtrottr приходит на сайт

Blogtrottr обращается к сайту, чтобы проверить, не появились ли новые записи в RSS/Atom-ленте, на которую подписался кто-то из пользователей сервиса — трафик пропорционален числу подписчиков конкретно на ваш фид. Это не массовый скрапинг и не сбор данных для стороннего использования, а узкоцелевой технический опрос ради доставки email-рассылки.

• Какие зоны чаще трогает: технический URL RSS/Atom-ленты сайта, а не произвольные публичные страницы;
• Что ищет: новые записи в фиде для рассылки подписчикам на email;
• Чем отличается от браузерного пользователя: нет нормальной сессии, интервал опроса регулярный и определяется TTL из самой ленты сайта, а не произвольным расписанием сервиса.

Типичный кейс: CDN-трафик дорожает, origin CPU нагружен рендерингом HTML. Фильтр по blogtrottr показывает регулярные обращения к фиду — если частота кажется избыточной, первым шагом стоит проверить и, при необходимости, увеличить значение TTL в самой RSS-ленте, прежде чем переходить к блокировке.

3. Нагрузка и риски именно для Blogtrottr

Отдельной строки в публичной сводке top-bot TrafficVeil у blogtrottr может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Поскольку у Blogtrottr есть штатный механизм регулирования частоты через TTL фида, аномально частые визиты — скорее сигнал, что TTL в фиде не задан или задан слишком коротким, чем проблема на стороне самого сервиса.

4. Как найти Blogtrottr в логах

Не ищите «просто ботов» — ищите конкретный токен blogtrottr и рядом смотрите соседей по семейству RSS-to-email и фид-сервисов.

# Базовый поиск
grep -i "blogtrottr" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот (должен быть в основном URL фида)
grep -i "blogtrottr" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "blogtrottr" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность и интервалы между визитами
grep -i "blogtrottr" /var/log/nginx/access.log | awk '{print $4}'

# Отделить от похожих строк семейства RSS-to-email сервисов
grep -iE "blogtrottr|feedrabbit|follow\.it" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт — сам Blogtrottr не публикует метод верификации, поэтому совпадение строки UA — это подсказка, а не доказательство. Для решения allow/deny смотрите связку: UA + IP + частоту + факт, что запросы идут именно к URL фида, а не к произвольным страницам.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Blogtrottr

# Жёсткий запрет
User-agent: blogtrottr
Disallow: /

# Разрешить всё
User-agent: blogtrottr
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: blogtrottr
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для blogtrottr, если пользы нет. Но прежде чем блокировать из-за частоты обращений, задайте или увеличьте элемент <ttl> в самой RSS-ленте (в пределах 5–720 минут) — это штатный и более точный способ снизить нагрузку, чем полный запрет, который заодно лишит подписчиков рассылки.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "blogtrottr") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=blogtrottr:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "blogtrottr") {
        limit_req zone=blogtrottr burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} blogtrottr [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите blogtrottr в ботах домена или в разделе /system/bots;
• Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — сначала попробуйте TTL в фиде, затем rate-limit;
• Allow оставляйте по умолчанию — у ленты сайта могут быть реальные email-подписчики через этот сервис;
• После изменения сверьте логи: хиты Blogtrottr должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с Blogtrottr

• Если пользы нет — Disallow/403 для blogtrottr;
• Если польза есть (у ленты сайта аудитория, подписанная через Blogtrottr) — оставляйте Allow по умолчанию;
• Если частота обращений мешает — сначала скорректируйте TTL в RSS-ленте, а не блокируйте сразу;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
• Что будет при блокировке: подписчики сайта на email-рассылку через Blogtrottr перестанут получать обновления.

8. С кем не путать Blogtrottr

9. Стратегия allow/deny для Blogtrottr