NewsBot в логах: почему это не один бот и точно не Google Новости

NewsBot в сводках — обобщённый идентификатор: разные операторы используют похожие токены для новостных fetch/crawl задач, и за одной и той же строкой в логах на разных доменах вполне могут стоять разные, никак не связанные друг с другом сервисы. Это не автоматически Googlebot-News — у механизма попадания в Google Новости давно другая техническая реализация, и об этом стоит знать до того, как принимать решение по allow/deny.

1. Что такое NewsBot

Ключевая особенность именно этого токена — его неоднозначность. В отличие от большинства ботов в этой энциклопедии, где имя UA более-менее однозначно указывает на конкретного оператора, «NewsBot» и его вариации (newsbot, News-Bot и похожие) используются разными разработчиками для разных новостных краулеров и агрегаторов — без единого реестра или общего оператора. Прежде чем применять политику, обязательно смотрите полный User-Agent целиком (часто в нём есть ссылка на оператора или e-mail для связи), IP и частоту запросов — сокращённый токен из сводки этого не покажет.

2. Зачем NewsBot приходит на сайт

Причина обхода целиком зависит от того, какой конкретно оператор скрывается за токеном на вашем домене — это может быть небольшой независимый новостной агрегатор, внутренний инструмент SEO/медиа-мониторинга у стороннего клиента или полностью безобидный, но плохо документированный скрипт. Важно не путать этот токен с Googlebot-News: с августа 2011 года Google консолидировал инфраструктуру краулинга, и отдельного HTTP User-Agent «Googlebot-News» в реальных запросах больше не существует — попадание в Google Новости сегодня технически выполняется обычным Googlebot, а правила для токена Googlebot-News в robots.txt Google лишь продолжает учитывать как фильтр контента, не отправляя под этим именем никаких запросов. Из этого следует практический вывод: если в логах буквально встречается строка «Googlebot-News», это не может быть настоящий Google — это либо спуфинг, либо вообще другой, не аффилированный с Google оператор, использующий похожее имя.

• Какие зоны чаще трогает: зависит от оператора — типично новостные разделы, RSS/фиды, страницы со свежими публикациями;
• Что ищет: новостной контент и метаданные — конкретная цель определяется по полному UA и поведению, а не по одному токену;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и, как правило, сфокусирован именно на разделах с новостным/актуальным контентом.

3. Нагрузка и риски именно для NewsBot

По вашей сводке TrafficVeil — порядка 60 запросов, что для этой категории объём небольшой и сам по себе едва ли создаёт ощутимую нагрузку. Основной риск здесь не в объёме, а в неопределённости: под общим токеном может скрываться и безобидный нишевый агрегатор, и неизвестный скрипт с непрозрачными целями — решение стоит принимать по конкретным IP и полному UA из ваших логов, а не по одному факту присутствия токена NewsBot в сводке.

4. Как найти NewsBot в логах

Ищите не только сокращённый токен, но и полную строку UA целиком — именно в ней обычно скрывается настоящий оператор.

# Базовый поиск
grep -i "NewsBot\|newsbot" /var/log/nginx/access.log

# Полная строка UA — ищите здесь ссылку на оператора или контактный email
grep -i "newsbot" /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort -u

# Топ URL, которые вычитывает бот
grep -i "newsbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "newsbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "newsbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Убедиться, что это не спуфинг под Googlebot-News (у настоящего Google такого UA давно нет)
grep -i "googlebot-news" /var/log/nginx/access.log | wc -l

Верификация. Перед политикой смотрите полный User-Agent, IP и частоту — этого требует именно неоднозначность токена NewsBot. Отдельно стоит проверить IP через whois/rDNS: для настоящего Google, если вдруг встретится буквальный «Googlebot-News», обратный DNS не подтвердит принадлежность к google.com, поскольку такой UA реальный Googlebot сегодня не использует.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для NewsBot

# Жёсткий запрет
User-agent: NewsBot
Disallow: /

# Разрешить
User-agent: NewsBot
Allow: /

Важно: неизвестный шум — deny; известный партнёр или агрегатор, с которым есть смысл сотрудничать, — Allow точечно, после того как по полному UA и IP подтверждён конкретный оператор. Для управления видимостью именно в Google Новостях используйте токен Googlebot-News в robots.txt отдельно — Google по-прежнему учитывает эти правила как фильтр контента, даже не отправляя запросы под этим именем технически.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "NewsBot") {
    return 403;
}

TrafficVeil

• Найдите newsbot в ботах домена или в /system/bots и посмотрите полный UA, а не только сокращённый токен из сводки;
• Неизвестный шум без ссылки на оператора — категория «запретить»;
• Известный партнёр или агрегатор — Allow точечно, для конкретного подтверждённого IP/UA, а не для токена целиком;
• После изменения сверьте логи и убедитесь, что видимость в Google Search и Google Новостях не изменилась — этот токен на неё не влияет.

7. Рекомендации: что делать с NewsBot

• Неизвестный шум — deny;
• Известный партнёр/агрегатор — Allow точечно, только после проверки полного UA и IP;
• На Google Search сам по себе не влияет — это не Googlebot и не Googlebot-News;
• Если нужно управлять именно попаданием в Google Новости — используйте отдельно токен Googlebot-News в robots.txt, помня, что технически Google крутит эти проверки через обычный Googlebot;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot.

8. С кем не путать NewsBot

9. Стратегия allow/deny для NewsBot