FlipboardRSS: почему стоит знать неоднозначную историю его родственника FlipboardProxy

FlipboardRSS — один из нескольких разных ботов, работающих под брендом Flipboard, Inc. (создателя одноимённого приложения-агрегатора «социальных журналов»), и его стоит отличать от родственных, но не тождественных FlipboardProxy и FlipboardBot. Задача именно FlipboardRSS — узкая и предсказуемая: забирать RSS/Atom-фиды сайтов, на которые подписаны пользователи или редакция Flipboard, чтобы отображать свежие материалы в приложении. Запросы идут централизованно с серверов агрегатора, а не от лица каждого отдельного читателя.

Почему стоит знать историю родственного FlipboardProxy

У более старого и широкого по охвату бота той же компании — FlipboardProxy — есть задокументированная и не самая безупречная репутация. В обсуждениях на форуме вебмастеров ещё в 2010–2012 годах администраторы сайтов фиксировали, что этот бот запрашивал robots.txt, получал от сервера полный запрет, но продолжал обходить сайт вне зависимости от ответа — то есть технически «читал» файл политики, но фактически его не соблюдал. Дополнительно бот работал через инфраструктуру Amazon EC2, но представлялся строкой User-Agent устаревшего браузера Firefox под Mac OS X, что независимый анализ того времени прямо называл вводящим в заблуждение — реальный источник трафика (облачный сервер) не соответствовал заявленному в UA профилю (десктопный браузер). Это не означает, что современный FlipboardRSS ведёт себя так же — но при оценке любого бота под брендом Flipboard стоит проверять фактическое поведение в собственных логах, а не полагаться на предположение о добросовестности только на основании узнаваемого имени компании.

Параметры бота

Практический риск, характерный именно для RSS-агрегаторов вроде Flipboard

Помимо стандартных для категории «RSS и фиды» рисков (лишние опросы feed URL, редко критичные по нагрузке), у крупных агрегаторов вроде Flipboard есть дополнительный аспект: материалы сайта показываются миллионам пользователей приложения внутри чужого интерфейса, что теоретически может создавать путаницу с каноничностью контента для поисковых систем при синдикации, если фид не настроен аккуратно (например, отдаёт полный текст статьи вместо анонса). Это не вина самого бота, а следствие того, как настроен фид на стороне сайта, — но стоит держать в уме при решении, разрешать полный текст в RSS-фиде или ограничиться кратким анонсом.

Как найти бота в логах

# Флипборд-семейство целиком, чтобы не путать между собой
grep -iE "flipboardrss|flipboardproxy|flipboardbot" /var/log/nginx/access.log | \
  sed -n 's/.*"\([^"]*\)".*/\1/p' | sort | uniq -c | sort -rn

Стоит ли блокировать

• если сайту важно распространение контента через агрегаторы вроде Flipboard (расширение охвата аудитории, дополнительный источник переходов) — FlipboardRSS стоит оставить разрешённым;
• если сайт не заинтересован в подобном распространении или обеспокоен полнотой контента, отдаваемого во внешний фид, — блокировка не приведёт к значимым потерям для органической выдачи;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет напрямую.

Как настроить доступ

Явное разрешение:

User-agent: flipboardrss
Allow: /

Стандартный запрет с дублированием на уровне сервера, учитывая неподтверждённое поведение по соблюдению правил у этого конкретного бота:

User-agent: flipboardrss
Disallow: /

if ($http_user_agent ~* "flipboardrss") {
    return 403;
}

Если задача — не полная блокировка, а контроль частоты при заметной нагрузке:

limit_req_zone $binary_remote_addr zone=flipboardrss:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "flipboardrss") {
        limit_req zone=flipboardrss burst=20 nodelay;
    }
}