FeedFlow: за этим ботом стоят настоящие читатели

FeedFlow — реальное и активно развивающееся приложение-ридер RSS с открытым исходным кодом, доступное на Android, iOS, macOS, Windows и Linux. Токен feedflow в access.log означает, что кто-то из читателей сайта подписался на его RSS-ленту через это приложение, и оно синхронизирует подписку в фоне. В каталоге TrafficVeil бот отмечен как легитимный в категории «RSS и фиды».

Что такое FeedFlow на самом деле

FeedFlow — минималистичный RSS-ридер с открытым исходным кодом, без алгоритмической ленты: все материалы показываются в хронологическом порядке, без рекомендательных алгоритмов. Приложение поддерживает RSS 2.0, RSS 1.0 и Atom, работает без обязательной регистрации аккаунта — фиды можно добавлять напрямую по URL. Официальная строка User-Agent зафиксирована прямо в открытом исходном коде приложения: FeedFlow (RSS Reader; +https://feedflow.dev).

Ключевая техническая деталь: FeedFlow выполняет фоновое обновление (background refresh), чтобы список ленты пользователя оставался актуальным без ручного обновления — именно поэтому визиты бота регулярны и не привязаны к моменту, когда пользователь реально открыл приложение.

Зачем FeedFlow приходит на сайт

Логика простая и полностью на стороне читателей: кто-то добавил RSS-ленту вашего сайта в свою подписку через FeedFlow, и приложение периодически (в фоне) опрашивает эту ленту, чтобы вовремя показать новые материалы. Трафик в норме пропорционален числу таких подписчиков — популярная лента может получать больше визитов, чем та, на которую почти никто не подписан.

Зоны, которые бот затрагивает: /feed/, /rss/, /atom.xml, /blog/feed — то есть файлы самой ленты, а не сайт в целом.

Нагрузка и риски именно для FeedFlow

Отдельной строки в публичной сводке топ-ботов TrafficVeil у feedflow может не быть, но в категории «RSS и фиды» такие агенты дают предсказуемый фон: лишние опросы feed URL, редко критичные по нагрузке сами по себе. Есть, впрочем, реальный практический риск другого рода: поскольку приложение делает простой HTTP-запрос без исполнения JavaScript, агрессивные антибот-механизмы иногда путают реальных подписчиков-людей с автоматизацией и показывают им капчу или блок-страницу — это стоит учитывать при настройке общих правил защиты, не только применительно к RSS-разделу.

Смотрите не только на абсолютный RPS, но и на:

• концентрацию запросов именно на файлах фида, а не на произвольных страницах;
• регулярность фонового обновления, привязанную к настройкам приложения, а не к активности живого пользователя;
• отсутствие cookie и признаков полноценной сессии.

Как найти FeedFlow в логах

Ищите конкретный токен feedflow, а не общее слово «bot».

# Базовый поиск
grep -i "feedflow" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "feedflow" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "feedflow" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "feedflow" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация: раз запросы идут напрямую с устройств отдельных пользователей, а не из единой инфраструктуры оператора, ожидайте разброс IP без общего паттерна по ASN — это нормально для приложения такого типа, а не признак спуфинга.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для FeedFlow

# Жёсткий запрет
User-agent: feedflow
Disallow: /

# Разрешить всё
User-agent: feedflow
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: feedflow
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: если антибот-система на сайте достаточно агрессивна, она может блокировать FeedFlow ещё до проверки robots.txt, ошибочно приняв простой fetch-запрос приложения за автоматизированную атаку — это стоит проверить отдельно, если реальные читатели жалуются на проблемы с чтением ленты через RSS-ридеры.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "feedflow") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=feedflow:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "feedflow") {
        limit_req zone=feedflow burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} feedflow [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите feedflow / FeedFlow в ботах домена или в /system/bots;
• для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
• allow оставляйте, если распространение через RSS-читалки важно для охвата аудитории — это реальные подписчики, а не боты в привычном смысле;
• после изменения сверьте логи: хиты FeedFlow должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать FeedFlow

Стратегия allow/deny для FeedFlow

Главное, что стоит помнить про FeedFlow: за этим токеном стоят настоящие подписчики сайта, использующие открытое приложение для чтения RSS, а не автоматизация в классическом понимании. Излишне агрессивная блокировка рискует задеть реальных читателей, а не просто «лишний» трафик.