Feedwind: если ваш RSS-фид показан в чужом виджете, этот бот держит его актуальным

Feedwind — не безымянный агрегатор, а давно работающий и широко используемый сервис виджетов для отображения RSS/Atom-лент на чужих сайтах, доступный по адресу feed.mikle.com. Идея продукта простая: владелец сайта вставляет URL нужного RSS-фида в конструктор FeedWind, получает готовый визуальный виджет (прокручивающуюся ленту новостей) и вставляет код этого виджета себе на страницу — например, в сайдбар WordPress, Wix, Squarespace или Weebly. Среди публично упоминаемых клиентов — например, Школа востоковедения и африканистики Лондонского университета (SOAS), встраивающая FeedWind в свои курсы на платформе Moodle, чтобы показывать студентам актуальные статьи и вакансии.

Зачем боту вообще нужно заходить на исходный сайт с лентой

Механика продукта требует постоянного обновления: FeedWind не копирует фид один раз при настройке виджета, а периодически перечитывает исходный RSS/Atom-источник, чтобы виджет на стороннем сайте показывал актуальные материалы. По официальной документации сервиса, частота обновления фида на его стороне не выбирается настройкой самого виджета, а определяется владельцем исходного фида: для CMS вроде WordPress обновления обычно подхватываются практически сразу, тогда как у крупных платформ вроде Tumblr кеш фида на их стороне может обновляться лишь раз в несколько часов — то есть скорость, с которой бот перечитывает конкретный сайт, косвенно зависит от того, как часто сам этот сайт публикует новый контент и как настроено кеширование на его стороне.

Параметры бота

Почему это меняет практическую оценку по сравнению с шаблоном «сервисный агент, польза не указана»

Раз запросы централизованно идут с серверов FeedWind именно по факту того, что кто-то (не обязательно сам владелец исходного сайта) настроил виджет с его фидом, — присутствие бота почти всегда означает, что фид сайта где-то реально используется для показа сторонней аудитории, будь то партнёрский сайт, образовательная платформа или личный проект стороннего пользователя. Это не сбор контента для перепродажи как такового, а инфраструктура синдикации, аналогичная логике других RSS-ботов из этой серии вроде BazQux или FeedBurner: без успешного опроса фида виджет на чужом сайте просто перестанет обновляться, показывая устаревший контент.

Как найти бота в логах

grep -i "feedwind" /var/log/nginx/access.log

# Какой именно фид опрашивается
grep -i "feedwind" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Стоит ли блокировать

• если сайту важно, чтобы его RSS-контент распространялся через виджеты на сторонних площадках (что расширяет охват аудитории без дополнительных усилий со стороны издателя), — блокировка бота приведёт к тому, что такие виджеты перестанут обновляться, показывая устаревший контент вместо актуального;
• если сайт не заинтересован в подобном распространении своего фида через сторонние виджеты — блокировка не несёт значимых потерь, кроме того что виджеты на чужих сайтах, если они уже существуют, замрут на последнем полученном состоянии;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это отдельная от поисковой индексации система синдикации контента.

Как настроить доступ

Явное разрешение, если фид сайта уже используется в чужих виджетах или планируется к использованию:

User-agent: feedwind
Allow: /

Стандартный запрет с дублированием на уровне сервера, если распространение через сторонние виджеты нежелательно:

User-agent: feedwind
Disallow: /

if ($http_user_agent ~* "feedwind") {
    return 403;
}