Everyfeed Spider: активный искатель фидов, а не пассивный подписочный фетчер

Everyfeed Spider принципиально отличается от большинства RSS-ботов, уже разобранных в этой серии, — по описанию из независимых архивов строк User-Agent, задача этого краулера сервиса everyfeed.com не в том, чтобы периодически перечитывать уже известный, подписанный пользователем фид, а в том, чтобы самостоятельно искать по интернету новые фиды для добавления в свой агрегатор и автоматически записывать новости из найденных источников. Это делает его ближе по логике к поисковому обходчику, чем к точечному фетчеру вроде BazQux или FeedWind из этой же категории.

Почему это существенное отличие для оценки поведения

Большинство RSS-ботов в этой серии — реактивные: они опрашивают конкретный, уже известный URL фида, на который кто-то явно подписался, и не пытаются обнаружить на сайте что-то новое самостоятельно. Everyfeed Spider, судя по официальному описанию его роли, устроен иначе — это активный, поисковый по своей природе краулер, который сам находит и добавляет в свою базу новые источники, обходя веб в поисках потенциальных RSS/Atom-лент. Такое поведение по определению предполагает более широкий и менее предсказуемый охват сайта, чем просто повторяющийся запрос к одному известному URL фида.

Параметры бота

Почему стоит относиться к этому боту настороженнее, чем к обычному подписочному фетчеру

Раз заявленная модель поведения предполагает самостоятельный поиск и добавление источников, а не работу строго по факту существующей пользовательской подписки, — этот бот структурно ближе к более широким по охвату краулерам, чем к вежливым точечным фетчерам вроде bitlybot или redditbot. В сочетании с отсутствием свежей официальной документации и неясным текущим статусом самого сервиса, это даёт основания оценивать бота осторожнее, чем большинство остальных RSS-агентов этой категории, — не как заведомо злонамеренный, но и не как безусловно легитимный по умолчанию.

Как найти бота в логах

# Базовый поиск
grep -i "everyfeed-spider" /var/log/nginx/access.log

# Насколько широк реальный охват — один URL или множество
grep -i "everyfeed-spider" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Если запросы концентрируются на одном известном пути фида — поведение ближе к типичному реактивному фетчеру; если бот заметно обходит разные разделы сайта в поиске потенциальных источников — это соответствует заявленной активной, поисковой модели работы.

Стоит ли блокировать

• учитывая неясный текущий статус сервиса и активную, а не строго реактивную модель обхода, запрет по умолчанию — разумная, низкорисковая позиция для большинства сайтов;
• если сайт заинтересован в максимально широком распространении своего RSS-контента через любые доступные каналы, включая менее известные и неподтверждённые сервисы, можно рассмотреть разрешение — но это скорее исключение, чем правило;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как заблокировать

User-agent: everyfeed-spider
Disallow: /

if ($http_user_agent ~* "everyfeed-spider") {
    return 403;
}

Если задача не полная блокировка, а контроль частоты при заметной нагрузке от более широкого, чем у типичного подписочного бота, обхода:

limit_req_zone $binary_remote_addr zone=everyfeedspider:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "everyfeed-spider") {
        limit_req zone=everyfeedspider burst=20 nodelay;
    }
}