Superfeedr в логах сайта: кто это и почему бот приходит на фид

Если отфильтровать access.log по токену superfeedr, в выдаче обычно всплывает ровный, безэмоциональный поток запросов на одни и те же адреса — /feed/, /rss/, /atom.xml. Это Superfeedr: сервис, который читает RSS/Atom/JSON-ленты по подписке и рассылает подписчикам уведомления о новых записях. Компанию основал в 2009 году Джулиан Женесту (Julien Genestoux) под материнской структурой Notifixious, а в 2016 году Superfeedr купил Medium — с тех пор фид-API продолжает работать как часть инфраструктуры Medium, обслуживая внешних подписчиков вроде агрегаторов, читалок и no-code сценариев (в разное время сервисом пользовались Etsy, IFTTT, Flipboard, About.me). По категории TrafficVeil бот отмечен как легитимный: решение allow/deny стоит принимать по бизнес-пользе конкретно для вашего сайта, а не «на всякий случай».

1. Что такое Superfeedr

Технически Superfeedr — это реализация протокола WebSub (бывший PubSubHubbub), который Женесту сам соавторствовал при стандартизации в W3C. Логика простая: вместо того чтобы каждый подписчик отдельно и постоянно опрашивал ленту сайта, эту работу берёт на себя Superfeedr — опрашивает фид сам, приводит его к единому формату (Atom/JSON) и рассылает изменения подписчикам через WebSub или XMPP. Для владельца сайта разницы между «умным» push-обновлением и обычным поллингом не видно: в логах в любом случае остаётся HTTP-запрос к URL ленты.

2. Зачем Superfeedr приходит на сайт

Опрос ленты запускается по двум сценариям: кто-то только что оформил новую подписку на ваш фид (тогда бот сразу проверяет URL), либо идёт плановый цикл поллинга по уже существующей подписке. Частота повторных визитов зависит не от вашего сайта, а от активности подписчиков и от того, как часто вы сами публикуете новые записи — на активно обновляемых блогах Superfeedr может заходить по несколько раз в час, на редко обновляемых — раз в сутки или реже.

• Какие зоны чаще трогает: /feed/, /rss/, /atom.xml, /blog/feed и аналогичные технические URL лент;
• Что ищет: новые записи, изменившиеся метаданные, признаки обновления фида — строго в рамках категории «RSS и фиды»;
• Чем отличается от браузерного пользователя: нет полноценной сессии и cookie, интервалы между заходами регулярные, паттерн URL повторяется без вариаций.

Отдельно стоит иметь в виду: под похожим названием некоторые современные каталоги ботов описывают «Superfeedr-фетчер» — агента, который однократно вытягивает метаданные конкретной страницы для превью ссылки в мессенджере или соцсети, когда кто-то делится этим URL. Поведение отличается от классического фид-поллинга (единичный запрос к конкретной странице, а не регулярный опрос ленты), но однозначно развести эти два сценария по одному только UA не всегда возможно — смотрите, на какие именно адреса идут запросы: на фид-URL или на произвольные страницы сайта.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует superfeedr на пагинации и карточках. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google и Yandex продолжают ходить как обычно.

3. Нагрузка и риски именно для Superfeedr

Отдельной строки в публичной сводке top-bot TrafficVeil у superfeedr может не быть, но в категории «RSS и фиды» такие агенты создают характерный фон: регулярные, некритичные по объёму опросы feed URL. Смотрите не только абсолютный RPS, но и качество хитов: глубину обхода, повторы одних и тех же адресов, отсутствие cookie-сессий и концентрацию запросов на служебных или листинговых страницах.

Практический риск умеренный: лишние опросы feed URL, редко критичные по нагрузке сами по себе. Но если на сайте одновременно активно много подписок (например, фид попал в несколько агрегаторов и no-code сценариев на IFTTT-подобных сервисах), суммарный поток от Superfeedr может ощутимо вырасти без видимой внешней причины — стоит проверять не только текущий RPS, но и историю всплесков по часам.

4. Как найти Superfeedr в логах

Не ищите «просто ботов» — ищите конкретный токен superfeedr и рядом смотрите соседей по семейству RSS-агентов.

# Базовый поиск
grep -i "superfeedr" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "superfeedr" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "superfeedr" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность по часам
grep -i "superfeedr" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверить, встречается ли параметр feed-id (трассировка конкретной подписки)
grep -io "superfeedr[^\"]*feed-id=[a-z0-9]*" /var/log/nginx/access.log | sort -u

# Отделить от похожих строк семейства RSS-ботов
grep -iE "superfeedr|feedburner|feedbin|automattic" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частота + набор URL. Отдельного публичного списка диапазонов IP компания не ведёт, поэтому опирайтесь на поведение и обратный DNS, если он резолвится.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Superfeedr

# Жёсткий запрет
User-agent: superfeedr
Disallow: /

# Разрешить всё
User-agent: superfeedr
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: superfeedr
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для superfeedr, если пользы от него нет именно вам. Если агент игнорирует robots.txt, переходите к правилам на уровне nginx/Apache или к запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "superfeedr") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=superfeedr:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "superfeedr") {
        limit_req zone=superfeedr burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} superfeedr [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите superfeedr / Superfeedr в ботах домена или в разделе /system/bots;
• Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
• Allow оставляйте только при явной пользе от Superfeedr для распространения контента;
• После изменения сверьте логи: хиты Superfeedr должны уйти в блок или лимит, а нужные поисковые роботы — остаться без изменений.

7. Рекомендации: что делать с Superfeedr

• Если пользы нет — Disallow/403 для superfeedr;
• Если польза есть (реальные подписчики на ваш фид, дистрибуция через агрегаторы) — Allow, но только при явной пользе;
• Если нагрузка мешает, но полностью резать не хочется — сначала rate-limit, затем полный запрет при повторных всплесках;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
• Что вы теряете при блокировке: часть распространения через агрегаторы, читалки и no-code интеграции, подписанные на ваш фид.

8. С кем не путать Superfeedr

9. Стратегия allow/deny для Superfeedr