BazQux: RSS-фетчер «проекта одного человека», который честно предупреждает — robots.txt его не остановит

BazQux принадлежит платному RSS-ридеру BazQux Reader — сервису, который, по собственному признанию создателя в его же официальном FAQ, представляет собой «проект одного человека» (one man project). Это придаёт боту необычный для этой серии масштаб: не корпоративная инфраструктура крупной компании, а бот, обслуживающий платную нишевую подписочную платформу для чтения RSS-лент, с моделью монетизации без рекламы — годовая подписка стоит $30–50, а пожизненная — $249.

Как работает фетчер и почему это не «краулер» в привычном смысле

Официальная страница bazqux.com/fetcher прямо и без обиняков объясняет ключевую особенность: запросы Fetcher идут от явного действия живого пользователя, а не от автоматизированного краулера, и именно поэтому Fetcher не следует правилам robots.txt. Если пользователь BazQux Reader подписался на фид сайта, фетчер начинает периодически забирать и обновлять именно этот фид — но исключительно как агент конкретного человека, оформившего подписку, а не как самостоятельно обходящий веб робот. Раз фид публично доступен, у BazQux, по собственному признанию оператора, просто нет технической возможности «запретить» доступ пользователям через файл политики — сервис прямо предлагает альтернативу: если владелец сайта категорически не хочет отдавать контент этому боту, стоит настроить сервер так, чтобы отдавать ошибку (404, 410 или другую) именно для User-Agent BazQux.

Параметры бота

Почему прямое несоблюдение robots.txt здесь — не тревожный сигнал

Это тот же принцип, что уже разбирался для DuckAssistBot, Perplexity-User и ChatGPT Operator: агент, действующий по прямому поручению конкретного человека в моменте, логически приравнивается самим оператором к обычному запросу браузера этого человека, а не к автоматизированному обходу. BazQux не скрывает эту особенность и не пытается выдать её за нечто иное — наоборот, официальная документация отдельно и подробно объясняет её пользователям именно потому, что это частый источник вопросов от администраторов сайтов.

Сколько трафика он создаёт

По независимым данным на середину 2026 года, ни один из крупнейших сайтов веба не блокирует BazQux в своём robots.txt, а фетчеры этого типа в целом составляют около 3% оценочного веб-трафика. Для конкретного сайта нагрузка напрямую зависит от числа подписчиков его фида в BazQux Reader — это может быть единичный запрос для нишевого блога или регулярное обновление для популярного источника.

Как найти бота в логах

grep -i "bazqux" /var/log/nginx/access.log

Число подписчиков указано прямо в строке UA — это удобный способ быстро оценить масштаб интереса к конкретному фиду сайта именно в этом сервисе, не требующий дополнительных инструментов.

Стоит ли блокировать

• если сайт распространяет контент через RSS и заинтересован в охвате читателей, которые предпочитают ридеры, — блокировка лишит именно этих подписчиков доступа к обновлениям, а других плюсов не даст;
• если сайт категорически не хочет отдавать контент через этот канал — стандартный запрет в robots.txt здесь не сработает по определению (сам оператор об этом честно предупреждает), эффективна только серверная блокировка;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как настроить доступ

Поскольку robots.txt здесь не действует по официальному признанию оператора, единственный рабочий метод ограничения — блокировка на уровне сервера:

if ($http_user_agent ~* "bazqux") {
    return 403;
}

Правило в robots.txt всё же можно оставить как явное заявление политики сайта, хоть оно и не будет исполняться этим конкретным ботом:

User-agent: bazqux
Disallow: /

Если фид сайта важен для читателей — блокировка не нужна вовсе; фетчер и так обращается только к тем URL, на которые кто-то реально подписался, а не сканирует сайт целиком.