Instapaper: та же ниша, что у закрытого Pocket — но с неожиданным вторым назначением

Instapaper — сервис «сохрани, чтобы прочитать позже», прямой аналог уже закрытого Pocket из этой серии, но, в отличие от него, по-прежнему действующий. Официальное имя краулера — Instaparser, и его задача узкая и понятная: когда пользователь Instapaper сохраняет статью в свой аккаунт, бот заходит на эту страницу, чтобы извлечь и очистить содержимое для комфортного офлайн-чтения — без рекламы, навигационных элементов и другого визуального шума исходного сайта.

Неожиданный поворот: технология извлечения контента стала отдельным коммерческим продуктом

Любопытная деталь, которая отличает эту историю от большинства других ботов этой серии: наработанная за более чем десятилетие технология парсинга и очистки контента, изначально созданная для внутренних нужд Instapaper, была выделена в отдельный публичный API-продукт — Instaparser (instaparser.com). Сегодня разработчики могут подключаться к этому API напрямую, чтобы получать чистый, структурированный текст статьи по ссылке для собственных задач: например, для предварительной очистки длинных материалов перед передачей их в LLM, для итогового суммирования через отдельный Summary API, или для интеграции через готовый узел n8n прямо в Notion, Airtable или векторную базу данных. То есть бот, который изначально работал только «внутри» сервиса чтения статей, теперь обслуживает две параллельные задачи — оригинальное приложение Instapaper и отдельный коммерческий API для разработчиков.

Параметры бота

Почему это меняет практическую оценку по сравнению с шаблоном «сервисный агент, польза не указана»

Двойное назначение технологии — важная деталь для оценки. Если запрос пришёл в рамках оригинального приложения Instapaper — это классический пользовательский fetch, аналогичный уже разобранным PocketParser (пока сервис ещё существовал) или redditbot: разовое, инициированное конкретным человеком действие. Но если тот же токен используется через API-продукт instaparser.com, обращение может быть частью совершенно постороннего, не связанного с сервисом чтения статей проекта — например, чьего-то конвейера подготовки данных для LLM. Оба сценария остаются легитимными по своей природе (сайт не подвергается скрытому массовому скрапингу), но стоит понимать, что за одним токеном сегодня могут стоять два разных класса задач.

Как найти бота в логах

grep -i "instapaper" /var/log/nginx/access.log

# Точечные обращения к конкретным URL
grep -i "instapaper" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Стоит ли блокировать

• если сайт заинтересован в том, чтобы читатели могли сохранять его статьи для офлайн-чтения через Instapaper (что типично для качественного лонгрид-контента и блогов), — бота стоит оставить разрешённым;
• если сайт не заинтересован в участии ни в приложении Instapaper, ни в стороннем использовании через API instaparser.com — блокировка не несёт значимых последствий, кроме того что читатели, попытавшиеся сохранить страницу, получат неполный или пустой результат;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как настроить доступ

Явное разрешение:

User-agent: instapaper
Allow: /

Стандартный запрет с дублированием на уровне сервера, если присутствие бота нежелательно:

User-agent: instapaper
Disallow: /

if ($http_user_agent ~* "instapaper") {
    return 403;
}