FeedlyFeedly в логах: агент читателя, а не краулер — и это меняет всё

Feedly стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации от известного RSS-агрегатора Feedly, которым пользуются миллионы читателей блогов и новостей. У сервиса есть официальная страница специально для вебмастеров — feedly.com/fetcher.html, где компания прямо и подробно объясняет, как работает её фетчер и, что особенно важно, честно говорит, что robots.txt он не соблюдает принципиально, по дизайну.

1. Что такое Feedly

По собственному объяснению Feedly, их фетчер запрашивает контент ленты только после того, как реальный человек явно добавил её в свой аккаунт Feedly (или в другое приложение, построенное поверх облака Feedly). Именно поэтому компания описывает фетчер не как робота, а как «прямого агента человека-пользователя» — и на этом основании официально не следует правилам robots.txt. Отдельная полезная деталь: в самой строке UA часто указано количество подписчиков конкретно на вашу ленту — это можно увидеть прямо в логах, без обращения к сторонним сервисам.

2. Зачем Feedly приходит на сайт

Feedly читает ленты и синдицирует обновления контента — но, в отличие от многих ботов этой категории, делает это исключительно по факту явной подписки конкретных людей. Официально заявленная частота — не чаще раза в час в среднем на большинство сайтов (для часто обновляемых лент — возможны более частые проверки), хотя сетевые задержки иногда создают видимость более частых визитов. При этом реальные наблюдения некоторых вебмастеров расходятся с этим ориентиром: встречаются жалобы на запросы каждые 20 минут и на несовпадающие UA-строки даже с одного и того же IP — то есть на практике поведение может быть менее предсказуемым, чем в официальном описании.

• Какие зоны чаще трогает: /feed/, /rss/, /atom.xml, /blog/feed;
• Что ищет: новые записи в ленте для читателей, которые на неё подписаны;
• Чем отличается от браузерного пользователя: нет нормальной сессии, но, по заявлению оператора, это агент конкретных людей, а не автономный робот — отсюда и официальный отказ следовать robots.txt.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — Feedly. Прежде чем реагировать, посмотрите число подписчиков прямо в строке UA — это разница между «у ленты реальная аудитория» и «нечастый технический шум».

3. Нагрузка и риски именно для Feedly

Отдельной строки в публичной сводке top-bot TrafficVeil у feedly может не быть, но в категории «RSS и фиды» такие агенты дают характерный фон: лишние опросы feed URL, редко критичные по нагрузке. Поскольку Feedly фетчит одну публичную ленту один раз для всех своих подписчиков сразу (не по запросу на каждого пользователя отдельно), нагрузка от сервиса обычно предсказуема и не растёт линейно с числом читателей — но если наблюдаются визиты чаще заявленного раза в час, это стоит зафиксировать отдельно, поскольку расходится с официальным описанием поведения.

4. Как найти Feedly в логах

Не ищите «просто ботов» — ищите конкретный токен feedly и обязательно смотрите на число подписчиков внутри строки UA.

# Базовый поиск
grep -i "feedly" /var/log/nginx/access.log

# Извлечь количество подписчиков прямо из UA
grep -io "feedly/1.0[^\"]*subscribers" /var/log/nginx/access.log | sort -u

# Топ URL, которые вычитывает бот
grep -i "feedly" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — ожидайте разнообразие, фетчер распределён по нескольким машинам
grep -i "feedly" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность и интервалы — заявлено не чаще раза в час
grep -i "feedly" /var/log/nginx/access.log | awk '{print $4}'

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP Feedly не публикует и не планирует — по их собственному ответу на этот вопрос, IP-адреса меняются со временем, а надёжная идентификация возможна только по строке UA.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Feedly

# Формально можно прописать, но по официальному заявлению оператора это не сработает
User-agent: Feedly
Disallow: /

Важно: сама Feedly прямо предупреждает, что правила robots.txt их фетчер не соблюдает принципиально, поскольку считает себя агентом конкретного пользователя, а не краулером. Если лента сайта публично доступна, ограничить к ней доступ фетчера через robots.txt не получится. Официальная рекомендация самой компании для тех, кто действительно хочет заблокировать доступ: настроить сервер так, чтобы отдавать код ошибки (404, 410 или другой) именно в ответ на запросы с UA Feedly/1.0 — это единственный задокументированный самим оператором рабочий способ.

6. Блокировка вручную и через TrafficVeil

Nginx (рекомендованный самой Feedly подход — отдавать ошибку конкретно этому UA)

if ($http_user_agent ~* "feedly") {
    return 410;
}

limit_req_zone $binary_remote_addr zone=feedly:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "feedly") {
        limit_req zone=feedly burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} feedly [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите feedly в ботах домена или в /system/bots;
• Учитывая, что robots.txt здесь не работает по дизайну, для нежелательного сценария сразу используйте серверный запрет, а не полагайтесь на файл;
• Allow оставляйте по умолчанию — присутствие Feedly означает наличие реальных подписчиков, число которых видно прямо в UA;
• После изменения сверьте логи: хиты Feedly должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с Feedly

• Если пользы нет — блокируйте на уровне сервера (не через robots.txt) и, следуя рекомендации самой Feedly, отдавайте этому UA код ошибки вроде 404/410;
• Если польза есть — Allow по умолчанию; проверяйте число подписчиков в UA, чтобы понимать реальный масштаб аудитории;
• Если нагрузка выглядит чаще заявленного раза в час — зафиксируйте это отдельно, поскольку расходится с официальным описанием поведения фетчера;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: потеряете часть распространения через агрегаторы и читалки — причём с точным числом затронутых подписчиков, которое видно в логах.

8. С кем не путать Feedly

9. Стратегия allow/deny для Feedly