PocketParser: раньше — образцово задокументированный бот, сегодня — оператор, которого больше не существует

PocketParser — редкий случай, когда история бота повернулась в направлении, противоположном большинству «неопознанных» ботов из этой серии. У него была образцовая, полностью официальная документация: собственная страница с описанием на getpocket.com, чёткая функция и известный оператор — Read It Later, Inc., позже приобретённая Mozilla. Проблема в том, что сам сервис Pocket, ради которого этот краулер существовал, полностью прекратил работу, а данные пользователей были безвозвратно удалены 12 ноября 2025 года. Это значит, что появление этого бота в логах сегодня требует не «мониторинга до выяснения оператора», как в случае с по-настоящему анонимными ботами, а прямо противоположного вывода: легитимного оператора для этого трафика с высокой вероятностью больше не существует.

Чем PocketParser был при жизни сервиса

Pocket — сервис «сохрани, чтобы прочитать позже», запущенный в 2007 году под названием Read It Later; Mozilla купила компанию в 2017 году и интегрировала её в Firefox начиная с 2015-го. PocketParser был узкоспециализированным фетчером: когда пользователь сохранял ссылку в своём аккаунте Pocket, именно этот бот заходил на страницу, чтобы собрать метаданные для карточки предпросмотра внутри приложения — заголовок, изображение, Open Graph теги. Официальная строка идентификации выглядела как PocketParser/2.0 (+https://getpocket.com/pocketparser_ua), и, как и у большинства ботов такого типа (аналогично redditbot или Slack-ImgProxy из этой серии), обход был точечным и происходил по факту действия конкретного пользователя, а не системным сканированием всего сайта.

Что случилось с самим сервисом

В мае 2025 года Mozilla объявила о закрытии Pocket, сославшись на изменившиеся привычки потребления веб-контента и необходимость сосредоточить ресурсы на Firefox. Сервис перестал принимать новые сохранения 8 июля 2025 года, доступ к API был отключён в те же сроки, а окно для экспорта данных пользователей после нескольких переносов окончательно закрылось 12 ноября 2025 года, когда Mozilla безвозвратно удалила все аккаунты и сохранённые материалы. С этого момента функция, ради которой существовал PocketParser, — построение карточек предпросмотра для приложения, которого больше нет, — перестала иметь смысл технически, а не только формально.

Параметры

Как правильно квалифицировать этот бот сегодня

Полезно различать два понятия: Detected — в логах действительно встретилась строка с токеном pocketparser, и Verified — подтверждено, что запрос реально пришёл от заявленного оператора. Раньше для PocketParser оба условия выполнялись относительно легко: строка была задокументирована, а поведение — предсказуемо точечным. Сегодня ситуация принципиально другая: даже идеальное совпадение исторической строки User-Agent ничего не доказывает, поскольку оператора, которому можно было бы приписать легитimный интерес к такому трафику, больше нет. Реалистичные объяснения сузились до спуфинга под узнаваемое, но более неактуальное имя, либо остаточного, давно не отключённого автоматизированного процесса где-то в чужой инфраструктуре.

Как найти бота в логах и оценить его поведение

# Базовый поиск
grep -i "pocketparser" /var/log/nginx/access.log

# Топ URL, которые запрашивает клиент
grep -i "pocketparser" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "pocketparser" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Поскольку официальный оператор прекратил существование, единственный по-настоящему информативный сигнал сегодня — фактическое поведение, а не название клиента. Стоит обязательно проверить, не обращается ли тот же UA к путям вроде /.env, /.git/config, /wp-admin/ или backup.sql — в этом случае перед вами явно не остаточный «мирный» фетчер, а стороннее сканирование под чужим, более узнаваемым именем:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Как заблокировать

Учитывая отсутствие действующего легитимного оператора, разумная политика по умолчанию — запрет без исключений:

User-agent: pocketparser
Disallow: /

if ($http_user_agent ~* "pocketparser") {
    return 403;
}

Если объём трафика невелик и не создаёт заметной нагрузки, можно сначала просто понаблюдать за поведением — но, в отличие от по-настоящему неизвестных ботов вроде Assaybot или FAB-Scraper, здесь наблюдение служит не для того, чтобы дождаться раскрытия оператора (раскрывать больше нечему), а для того, чтобы убедиться в характере оставшегося трафика перед блокировкой. На позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — он никогда не был поисковым краулером ни одной из систем.