Строка muckrackfeedparser в целом верно описана в черновике как фид-фетчер — но без указания реального оператора. Это конкретный компонент уже известной PR-платформы Muck Rack (её основной краулер MuckRack уже разбирался в этой энциклопедии): парсер, который читает RSS/Atom-фиды изданий для журналистской базы и медиа-мониторинга.
Что такое MuckRackFeedParser на самом деле
Muck Rack — PR-платформа, которая связывает журналистов и коммуникационных специалистов: журналистская база данных, мониторинг медиа в реальном времени, аналитика PR-кампаний. Если основной краулер MuckRack системно обходит страницы сайтов, то MuckRackFeedParser — специализированный компонент, читающий именно RSS/Atom-фиды изданий, чтобы оперативно узнавать о новых публикациях и обновлять данные для журналистской базы и медиа-мониторинга клиентов сервиса.
| Параметр | Значение |
| Название | MuckRackFeedParser |
| User-Agent / паттерн | muckrackfeedparser |
| Оператор | Muck Rack — PR-платформа для журналистов и коммуникационных специалистов |
| Категория TrafficVeil | RSS-фетчер журналистской базы и медиа-мониторинга (тот же оператор, что и основной краулер MuckRack) |
| Что делает на сайте | Регулярно опрашивает RSS/Atom-фид издания, чтобы оперативно фиксировать новые публикации для журналистской базы и клиентов медиа-мониторинга |
| Список IP | ❌ Официального публичного списка не найдено; проверяйте ASN и поведение |
| robots.txt | Как и основной краулер MuckRack, ориентируется на директивы под своим именем |
| Пометка TrafficVeil | Легитимный — особенно для новостных, блоговых и издательских доменов |
Зачем MuckRackFeedParser приходит на сайт
В отличие от основного краулера MuckRack, который системно обходит сайт, MuckRackFeedParser целенаправленно опрашивает конкретный адрес RSS/Atom-фида — тот же принцип, что у dlvr.it, NewsBlur или Netvibes, только цель другая: не автопостинг в соцсети и не личное чтение, а оперативное обновление журналистской базы и медиа-мониторинга для PR-специалистов, которые опираются на данные Muck Rack.
Почему это дополняет, а не заменяет статью про MuckRack
Если сайт уже видел визиты основного бота MuckRack, появление отдельно MuckRackFeedParser — это не дублирование, а параллельная активность того же оператора через другой канал: фид против системного обхода страниц. Оба бота работают на одну и ту же цель — актуальность журналистской базы Muck Rack, которой пользуются PR-специалисты по всему миру.
Как найти MuckRackFeedParser в логах
# Базовый поиск
grep -i "muckrackfeedparser" /var/log/nginx/access.log
# Топ URL — обычно адрес RSS/Atom-фида
grep -i "muckrackfeedparser" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "muckrackfeedparser" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант для новостных и издательских доменов)
User-agent: MuckRackFeedParser
Allow: /
# Закрыть только служебные разделы
User-agent: MuckRackFeedParser
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: для медийных и издательских доменов разумный вариант по умолчанию — allow без rate-limit: нагрузка от фид-фетчера минимальна, а присутствие в журналистской базе Muck Rack работает на видимость среди PR-индустрии. Настраивайте этот бот вместе с основным краулером MuckRack как единую политику для одного оператора.
Что в итоге делать с MuckRackFeedParser
| Ситуация | Действие |
| Издание, блог или новостной раздел сайта | Allow без rate-limit — присутствие в базе PR-специалистов полезно |
| Медийная видимость не нужна | Disallow / запрет в TrafficVeil — синхронно с основным ботом MuckRack |
| Нагрузка ощутима, несмотря на низкий обычно профиль | Rate-limit, затем Disallow при необходимости |
| Подозрение на спуфинг UA | Сверять по ASN и по совпадению с ожидаемым паттерном опроса фида |