Feedbot: чей это RSS-краулер на самом деле и как им управлять

feedbot в сводках и логах — обычно RSS/Atom fetcher: забирает ленту, чтобы обновить кеш подписчиков или агрегатора. Это не единый глобальный бренд и не Feedfetcher-Google / Feedly (у тех свои UA) — но в большинстве случаев за этим токеном стоит конкретный, хорошо известный источник. Перед выбором политики allow/deny смотрите полный User-Agent и IP: иногда это легитимный ридер, иногда скрипт с «красивым» именем, просто копирующий распространённый паттерн.

Кто чаще всего скрывается за feedbot

Чаще всего этот токен связан с WordPress.com Feedbot — ботом, который забирает RSS-контент для доставки подписчикам и питает WordPress.com Reader. В логах он иногда фигурирует буквально как wp.com feedbot. Это не значит, что каждый запрос с токеном feedbot гарантированно от WordPress.com — генерическое имя могут переиспользовать и другие, менее заметные скрипты, — но это самая частая и документированная гипотеза, с которой стоит начинать проверку.

Параметры

Чем feedbot принципиально отличается от Feedfetcher-Google

Полезно понимать разницу в логике, а не только в имени. Google официально объясняет, почему Feedfetcher-Google игнорирует robots.txt: он выступает не как автономный краулер, а как прямой агент конкретного пользователя, который явно запросил ленту через стороннее приложение или сервис. Поскольку запрос инициирован человеком, а не роботом, обычные правила исключения к нему не применяются — и заблокировать его можно только отдачей 404/410 именно для этого UA, а не через robots.txt. Generic-токены вроде feedbot такой официальной логики не имеют — это не «пользовательский агент по явному запросу», а обычный периодический fetch по расписанию агрегатора или ридера. Соответственно, для них robots.txt и обычная UA-блокировка работают предсказуемее, чем для Feedfetcher-Google.

Другие легитимные потребители RSS, которых стоит знать

Если вы разбираете, кто на самом деле читает вашу RSS-ленту, feedbot — далеко не единственный игрок. В этой нише также встречаются: Blogtrottr (доставляет RSS на email), FeedBurner (старый, но всё ещё живой прокси-сервис для фидов, изначально приобретённый Google), а также множество нишевых ботов у новостных агрегаторов и даже у финтех-сервисов, отслеживающих новости для торговых сигналов. Прежде чем банить незнакомый токен, стоит проверить, не относится ли он к одному из легитимных подписчиков вашей ленты.

Нагрузка

По сводке TrafficVeil — порядка 2,3 тысячи запросов. Объём небольшой и типичный для RSS-fetch трафика: подписчики и агрегаторы обычно опрашивают ленту периодически, а не сканируют сайт целиком.

Контроль

grep -i "feedbot" /var/log/nginx/access.log

# точечно ограничить доступ только к самой ленте
location = /feed { ... }

# блокировка по UA, если решили резать
if ($http_user_agent ~* "feedbot") {
    return 403;
}

Стратегия

• Нужны подписчики/агрегаторы — отдавайте доступ к /feed, но режьте попытки глубокого обхода остального HTML под тем же UA — легитимному RSS-fetcher’у незачем ходить дальше самой ленты
• Неизвестный шум без понятного источника — deny по UA, объём трафика невелик, потери для агрегаторов минимальны
• На позиции в Google Search блокировка feedbot не влияет — это не поисковый краулер