RSSAPI: инфраструктура для разработчиков, а не конечное приложение для читателей

RSSAPI, вероятнее всего, принадлежит rssapi.net — сервису для разработчиков, который превращает разбор и опрос RSS/Atom/JSON-фидов в простой API с доставкой обновлений через вебхуки. Продукт вырос не с нуля: команда, по собственному описанию, больше семи лет создавала софт и приложения, опирающиеся на RSS-ленты, и в 2019 году выделила накопленную инфраструктуру парсинга фидов в отдельный самостоятельный сервис для других разработчиков.

Чем именно занимается сервис и зачем ему обходить сайты

Модель RSSAPI — инфраструктурная прослойка между источником и конечным приложением: разработчик подписывается через API на нужный RSS/Atom/JSON-фид, а сервис берёт на себя техническую рутину — опрос источника, нормализацию формата и доставку новых записей через вебхук на сервер клиента в режиме, близком к реальному времени. Это снимает с разработчика необходимость самому писать и поддерживать код polling'а и парсинга разных форматов фидов. Именно для выполнения этой посреднической функции — опроса подписанных фидов от имени клиентов API — сервису и нужно периодически обращаться к сайтам-источникам.

Параметры бота

Почему это меняет практическую оценку

Как и у большинства реактивных RSS-ботов этой серии, обход здесь строго привязан к факту существующей подписки — на этот раз не человека напрямую, а стороннего разработчика или приложения, использующего инфраструктуру rssapi.net как строительный блок для собственного продукта. Присутствие бота в логах означает, что чей-то сервис или приложение технически зависит от актуальности данных именно с этого сайта, а не что происходит абстрактный, ничем не мотивированный сбор.

Как найти бота в логах

grep -i "rssapi" /var/log/nginx/access.log

# Какой именно фид опрашивается
grep -i "rssapi" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Стоит ли блокировать

• если сайту важно, чтобы его RSS-контент был доступен сторонним разработчикам и приложениям через подобную инфраструктуру (что расширяет непрямой охват без дополнительных усилий издателя), — бота стоит оставить разрешённым;
• если сайт не заинтересован в подобном использовании своего фида третьими сторонами — блокировка не несёт значимых потерь, кроме прекращения доставки данных тем, кто уже настроил подписку через API;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как настроить доступ

Явное разрешение:

User-agent: rssapi
Allow: /

Стандартный запрет с дублированием на уровне сервера, если присутствие бота нежелательно:

User-agent: rssapi
Disallow: /

if ($http_user_agent ~* "rssapi") {
    return 403;
}