Строка newsblur в логах обычно описывают как проверку виджета или webhook при интеграции — формулировка неточная. NewsBlur — RSS-читалка и агрегатор новостей: реальный сервис, которым читатели пользуются, чтобы следить за десятками сайтов из одной ленты. Если бот заходит на сайт, это означает, что кто-то подписался на его RSS-фид через NewsBlur, — а не что кто-то проверяет техническую интеграцию.
Что такое NewsBlur на самом деле
NewsBlur — сервис для чтения RSS/Atom-фидов с функциями фильтрации контента, поиска и социального шеринга («Intelligence Trainer» позволяет пользователям обучать фильтр под свои предпочтения). Бот регулярно проверяет фиды, на которые подписались пользователи сервиса, забирая новые материалы для их лент чтения. Полезная деталь: в строке UA NewsBlur указывает число подписчиков на конкретный фид — это можно использовать как косвенный сигнал об охвате сайта среди читателей сервиса.
| Параметр | Значение |
| Название | NewsBlur |
| User-Agent / паттерн | newsblur (полная строка включает количество подписчиков на фид) |
| Оператор | NewsBlur — сервис чтения RSS-фидов и агрегации новостей |
| Категория TrafficVeil | RSS-фетчер для персонального чтения (не проверка интеграции и не общий краулер) |
| Что делает на сайте | Регулярно проверяет RSS/Atom-фид, на который подписались пользователи NewsBlur, чтобы обновить их ленты чтения |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Официально соблюдает стандартный протокол robots.txt |
| Пометка TrafficVeil | Легитимный — визит означает, что на ваш RSS-фид кто-то подписан через NewsBlur |
Зачем NewsBlur приходит на сайт
Причина визита — не системный обход, а подписка конкретного читателя: пользователь NewsBlur добавил ваш RSS-фид в свою ленту, и сервис регулярно проверяет его на новые материалы, чтобы доставить их этому и другим подписавшимся пользователям. Тот же принцип, что у Feedly Fetcher или dlvr.it, только цель — личное чтение, а не автопостинг в соцсети.
Почему это не проверка виджета
Описание «проверяет URL при установке виджета или webhook» сюда не подходит: NewsBlur не подтверждает интеграцию, а доставляет содержимое фида читателям, которые сами на него подписались. Блокировка не защищает от постороннего сбора данных, а лишает часть аудитории доступа к вашим материалам через привычный им инструмент чтения.
Как найти NewsBlur в логах
# Базовый поиск
grep -i "newsblur" /var/log/nginx/access.log
# Полная строка UA — там же указано число подписчиков на фид
grep -i "newsblur" /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head
# Топ URL — обычно это адрес RSS/Atom-фида
grep -i "newsblur" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "newsblur" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант — не мешать читателям)
User-agent: newsblur
Allow: /
# Закрыть только чувствительные разделы
User-agent: newsblur
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: разумный вариант по умолчанию — allow без rate-limit: нагрузка от RSS-фетчера минимальна, а блокировка отрезает часть аудитории, которая уже выбрала следить за сайтом через NewsBlur. Переключать на «запретить» стоит только при осознанном решении не заботиться об этом канале распространения контента, либо при реальных проблемах с нагрузкой — в таком случае сначала стоит написать в поддержку NewsBlur, прежде чем блокировать полностью.
Что в итоге делать с NewsBlur
| Ситуация | Действие |
| Стандартный случай | Allow без rate-limit |
| Нагрузка ощутима, но канал распространения через RSS важен | Написать в поддержку NewsBlur, прежде чем блокировать |
| RSS-читатели как аудитория неактуальны для сайта | Disallow / запрет в TrafficVeil |
| Подозрение на спуфинг UA | Сверять по ASN и по совпадению с паттерном обхода RSS-фида |