Feedbin в логах: как узнать число подписчиков бесплатно

Токен feedbin в access.log — на удивление информативная находка: в отличие от большинства RSS-агрегаторов, Feedbin вшивает прямо в строку User-Agent число подписчиков конкретной ленты. Это значит, что часть того, что обычно требует отдельной аналитики, можно узнать одним grep по логам. В каталоге TrafficVeil бот отмечен как легитимный в категории «RSS и фиды».

Что такое Feedbin

Feedbin — коммерческий веб-сервис для чтения RSS-лент с открытым исходным кодом, предоставляющий как веб-интерфейс, так и REST-подобный API для сторонних клиентов. При каждом опросе ленты Feedbin передаёт в UA не просто своё имя, а конкретную статистику: реальная строка выглядит примерно так — Feedbin feed-id:1242010 - 38 subscribers, где число после «subscribers» — это количество читателей именно вашей ленты в сервисе на момент запроса.

Зачем Feedbin приходит на сайт

Задача бота простая и прозрачная: периодически опрашивать URL вашей ленты и подтягивать новые записи для тех, кто подписался на неё через Feedbin. Зоны, которые он затрагивает: /feed/, /rss/, /atom.xml, /blog/feed — то есть исключительно файлы самой ленты, никогда не сайт целиком.

Практический лайфхак: раз число подписчиков передаётся прямо в UA, вы можете отследить рост или падение аудитории в Feedbin без стороннего инструмента — достаточно периодически смотреть, как меняется число после «subscribers» в логах. Это не заменит полноценную аналитику, но даёт быстрый ориентир бесплатно.

Нагрузка и риски именно для Feedbin

Отдельной строки в публичной сводке топ-ботов TrafficVeil у feedbin может не быть, но для категории «RSS и фиды» в целом характерен предсказуемый фон: лишние опросы feed URL, которые редко критичны по нагрузке — сама лента обычно значительно легче полной страницы сайта. Тем не менее стоит проверять:

• частоту опроса относительно числа подписчиков — резкий разрыв между малым числом читателей и высокой частотой запросов стоит уточнить;
• повторы одних и тех же URL без изменения контента — корректная реализация должна использовать условный GET (Last-Modified/ETag), а не перекачивать ленту заново каждый раз;
• отсутствие cookie и признаков сессии, типичное для любого fetcher-бота.

Как найти Feedbin в логах

Ищите конкретный токен feedbin, а не общее слово «bot» — и обратите внимание на встроенную статистику подписчиков прямо в UA.

# Базовый поиск
grep -i "feedbin" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "feedbin" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "feedbin" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "feedbin" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация: подделать User-Agent может любой скрипт, но конкретно у Feedbin строка достаточно специфична (feed-id и число подписчиков), что затрудняет случайную имитацию по сравнению с простым именем бота. Тем не менее для решения allow/deny смотрите связку UA + ASN/IP + частота + набор URL, а не только заголовок:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для Feedbin

# Жёсткий запрет
User-agent: feedbin
Disallow: /

# Разрешить всё
User-agent: feedbin
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: feedbin
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Feedbin по независимым оценкам считается соблюдающим директивы robots.txt, что для RSS-агрегаторов не всегда очевидно — многие устаревшие или самописные читалки этого не гарантируют. Тем не менее для крупной сети сайтов стоит проверить это по факту логов, а не полагаться только на репутацию.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "feedbin") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=feedbin:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "feedbin") {
        limit_req zone=feedbin burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} feedbin [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите feedbin / Feedbin в ботах домена или в /system/bots;
• для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
• allow оставляйте, если распространение через RSS-читалки важно для охвата аудитории;
• после изменения сверьте логи: хиты Feedbin должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать Feedbin

Стратегия allow/deny для Feedbin

Главное, что стоит помнить про Feedbin: это едва ли не единственный бот в категории «RSS и фиды», который сам делится полезными данными прямо в заголовке запроса. Прежде чем решать между allow и запретом, стоит хотя бы раз посмотреть, сколько реальных подписчиков стоит за этим трафиком.