PodchaserParser — реальный, официально задокументированный бот, но с очень узкой специализацией: он читает RSS-фиды подкастов, а не сайты в общем смысле. Если этот токен появился в access.log, первый и главный вопрос — публикует ли сайт вообще подкаст-фид, потому что без него визит этого бота выглядит нетипично. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».
Что такое PodchaserParser на самом деле
Podchaser позиционирует себя как «IMDb подкастинга» — крупная база данных и каталог подкастов с рейтингами, карточками ведущих и гостей, позициями в чартах и подробными описаниями эпизодов. Чтобы наполнять и обновлять эту базу, сервис использует специализированного бота PodchaserParser, который читает RSS/XML-фиды подкастов — то есть его задача принципиально уже, чем у обычного веб-краулера: он не индексирует произвольные страницы, а разбирает конкретно подкаст-фиды.
Официальная строка User-Agent зафиксирована в открытом community-реестре UA подкаст-аналитики: PodchaserParser/2.0 (https://podchaser.com). Тот же реестр используется рядом крупных подкаст-хостингов для собственной аналитики, что говорит о признанном статусе бота в этой узкой нише.
| Параметр | Значение |
| Название | PodchaserParser |
| User-Agent / паттерн | podchaserparser (официальная строка: PodchaserParser/2.0 (https://podchaser.com)) |
| Оператор | Podchaser — база данных и каталог подкастов |
| Роль | Чтение RSS/XML-фидов подкастов для наполнения каталога Podchaser (эпизоды, рейтинги, участники, чарты) |
| Документация / ориентир | Официальный сайт podchaser.com; UA зафиксирован в открытом реестре подкаст-аналитики (opawg) |
| Список IP | ❌ Отдельного публичного списка IP не обнаружено; проверяйте ASN и не доверяйте только строке UA |
| robots.txt | Зависит от оператора; для точного ответа стоит проверить поведение по факту логов на конкретном домене |
| Пометка TrafficVeil | Легитимный / Прочие краулеры и сервисы |
Зачем PodchaserParser приходит на сайт
Единственный реалистичный сценарий — на сайте опубликован RSS-фид подкаста (например, /feed/podcast.xml или аналогичный путь), и он либо уже добавлен в каталог Podchaser, либо сервис проверяет, не появился ли новый подкаст по этому адресу. Если сайт не публикует подкаст-контент вообще, визит этого бота — редкость, а не ожидаемый фоновый трафик, и его стоит рассматривать скорее как аномалию или ошибочно сохранённую старую запись, чем как штатную активность.
Зоны, которые бот затрагивает: конкретно файл(ы) RSS-фида подкаста, а не сайт в целом — в отличие от многих других ботов категории «Прочие краулеры и сервисы», здесь нет широкого обхода публичных URL или статики.
Нагрузка и риски именно для PodchaserParser
Из-за узкой специализации нагрузка от этого бота почти всегда минимальна — он опрашивает один конкретный файл фида, а не сайт целиком. Тем не менее стоит проверить:
- совпадает ли запрошенный путь с реальным подкаст-фидом сайта, если он есть;
- частоту опроса — избыточно частые запросы к одному файлу стоит уточнить;
- отсутствие cookie и признаков сессии, типичное для любого fetcher-бота.
Как найти PodchaserParser в логах
Ищите конкретный токен podchaserparser и сразу проверяйте, к какому именно файлу идут запросы.
# Все запросы
grep -i "podchaserparser" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "podchaserparser" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "podchaserparser" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "podchaserparser" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: если найденные запросы идут не к RSS/XML-фиду подкаста, а к произвольным страницам сайта, это весомый повод усомниться в подлинности — легитимный PodchaserParser такой обход выполнять не должен. Классическая проверка через whois/reverse DNS остаётся полезной дополнительно:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt для PodchaserParser
# Полная блокировка User-agent: podchaserparser Disallow: / # Точечное ограничение User-agent: podchaserparser Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: podchaserparser Allow: /
Если сайт публикует подкаст и заинтересован в присутствии в каталоге Podchaser, файл фида стоит явно оставить открытым для этого бота — блокировка помешает подкасту появляться или обновляться в базе. Если подкаста на сайте нет, ограничение ничего не сломает.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "podchaserparser") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=podchaserparser:10m rate=15r/m;
location / {
if ($http_user_agent ~* "podchaserparser") {
limit_req zone=podchaserparser burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} podchaserparser [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - найдите podchaserparser / PodchaserParser;
- если на сайте есть подкаст-фид и присутствие в каталоге Podchaser желательно — оставьте allow именно на путь фида;
- если подкаста на сайте нет — смело ставьте «запретить», заметной пользы или вреда от этого не будет;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Сайт публикует подкаст, присутствие в Podchaser важно | Allow на путь RSS-фида, остальное — по общей политике |
| Подкаста на сайте нет | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Подкаст есть, но частота опроса избыточна | Rate-limit вместо полной блокировки |
| Запросы идут не к фиду, а к произвольным страницам | Проверить подлинность — вероятен спуфинг UA |
Главный вывод по PodchaserParser: это не обход сайта в широком смысле, а специализированный ридер подкаст-фидов. Решение allow/deny здесь должно опираться на один простой факт — публикует ли сайт подкаст, а не на общую логику «полезен бизнесу или нет».