Feeder: краулер, который официально не проверяет robots.txt — и объясняет почему

Feeder принадлежит одноимённому RSS-сервису (feeder.co) — современному, активно развивающемуся продукту с приложениями в Google Play, веб-версией и отдельным тарифом Feeder Business для команд. Официальная страница feeder.co/crawler даёт редкую по чёткости гарантию: сервис обходит исключительно те фиды, на которые реально подписан хотя бы один пользователь, — то есть присутствие бота в логах напрямую означает, что кто-то читает материалы именно этого сайта через Feeder.

Ключевая деталь про robots.txt — и почему это осознанное решение, а не недосмотр

Официальная документация прямо и без обиняков заявляет: краулер Feeder действует как агент конкретного пользователя-подписчика, и именно поэтому не проверяет наличие правил в robots.txt. Формулировка почти дословно повторяет логику, уже разобранную в этой серии для Google Feedfetcher: раз запрос — прямое следствие осознанного действия живого человека (оформления подписки), а не автономного решения бота обойти произвольный сайт, оператор приравнивает такой запрос к обычному обращению браузера пользователя, а не к поведению краулера, для которого файл политики исторически и был придуман.

Параметры бота

Практическое следствие для решения о блокировке

Как и с DuckAssistBot, Perplexity-User или ChatGPT Operator из этой серии, здесь стандартное правило в robots.txt не даёт гарантии контроля — компания сама честно предупреждает, что краулер его не проверяет. Единственный по-настоящему рабочий метод ограничения — блокировка на уровне сервера. При этом стоит понимать: раз обход строго привязан к реальной пользовательской подписке, блокировка не «экономит» абстрактную нагрузку от неопознанного бота, а напрямую обрывает доставку обновлений конкретным читателям сайта, использующим Feeder.

Сколько трафика он создаёт

Поскольку обход происходит только по факту существующей подписки, а не системного сканирования, нагрузка на конкретный сайт прямо пропорциональна числу его подписчиков в Feeder — от единичных редких запросов для небольших нишевых блогов до заметного, но всё равно предсказуемого потока для популярных источников с частым обновлением контента.

Как найти бота в логах

grep -i "feeder" /var/log/nginx/access.log

Стоит ли блокировать

• если у сайта есть читатели, подписанные на его RSS через Feeder, — блокировка напрямую обрывает доставку обновлений именно этим людям, а не абстрактному боту;
• если сайт не заинтересован в распространении через RSS-ридеры в принципе — блокировка не несёт иных последствий, кроме прекращения доставки тем, кто уже подписан;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как настроить доступ

Правило в robots.txt как формальное заявление политики — не забывая, что сам оператор его не проверяет:

User-agent: feeder
Disallow: /

Для реального контроля — блокировка на уровне сервера:

if ($http_user_agent ~* "feeder") {
    return 403;
}

Если фид сайта важен для читателей — разумно вовсе не трогать этого бота: он и так не будет заходить, если ни один пользователь Feeder не подписан на конкретный источник.