Parsely.com: тот же оператор, что и parse.ly, но своё правило

Токен parsely.com в access.log принадлежит тому же оператору, что и токен parse.ly, — оба относятся к краулеру компании Parse.ly, сервиса контент-аналитики, основанного в 2009 году и сейчас входящего в состав Automattic (той же компании, что владеет WordPress.com). В системе TrafficVeil это отдельная запись под свой UA-паттерн, поэтому и правило для неё стоит настраивать отдельно, даже если оператор один и тот же.

Что такое parsely.com

Parse.ly — платформа контент-аналитики для издателей: измеряет вовлечённость читателей, эффективность тем и авторов, источники трафика. Официальная документация сервиса описывает поведение краулера подробно: он не исполняет JavaScript и забирает только то, что уже присутствует в исходном HTML-коде страницы, а также группирует разные представления одного материала (например, обычную версию и AMP) через единый canonical URL, чтобы аналитика не дробилась.

Основная аудитория Parse.ly — новостные редакции и контентные издатели. Для сети сайтов, не связанных с журналистикой (в том числе для гемблинг-проектов), визит этого краулера — не типичный сценарий, и прежде чем считать его ожидаемым, стоит уточнить, действительно ли домен подключён к сервису как клиент.

Зачем parsely.com приходит на сайт

Если сайт подключён к Parse.ly, краулер регулярно вычитывает публичные страницы, чтобы обновлять данные о содержании и вовлечённости читателей — часть штатной работы аналитической системы, привязанная к фиксированным интервалам, похожим на cron-задачу. Затрагивает обычно публичные URL, иногда открытый API и статику.

Если интеграции с сервисом нет, наиболее вероятное объяснение — след от прошлого подрядчика, тестовой настройки или редизайна, а не активная связь с текущим сайтом.

Нагрузка и риски именно для parsely.com

Отдельной строки в публичной сводке топ-ботов TrafficVeil у parsely.com может не быть, но для категории «Прочие краулеры и сервисы» в целом характерен фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без единой конверсии. Смотрите не только на абсолютный RPS, но и на:

• регулярность интервалов — поведение, близкое к cron-задаче, типично для этого краулера;
• ограниченность набора URL — содержательные публичные страницы, а не весь каталог;
• отсутствие cookie и признаков сессии.

Как найти parsely.com в логах

Ищите именно этот вариант токена отдельно от parse.ly — в системе это разные записи, и совпадение оператора не означает совпадение правил фильтрации логов.

# Базовый поиск
grep -i "parsely.com" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "parsely.com" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "parsely.com" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "parsely.com" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Официальная строка UA известна и легко сверяется — если заголовок в логах заметно отличается, это повод присмотреться внимательнее. Для окончательного решения смотрите связку UA + ASN/IP + частота + набор URL:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для parsely.com

# Жёсткий запрет
User-agent: parsely.com
Disallow: /

# Разрешить всё
User-agent: parsely.com
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: parsely.com
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Если сайт не является клиентом Parse.ly, полный запрет ничего не сломает — краулер просто перестанет вычитывать страницы, аналитика которых всё равно не используется на вашей стороне. Учитывая, что оператор один и тот же, что и у токена parse.ly, имеет смысл настраивать оба правила синхронно, чтобы не закрыть один вариант UA и оставить открытым другой.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "parsely.com") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=parselycom:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "parsely.com") {
        limit_req zone=parselycom burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} parsely.com [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите parsely.com в ботах домена или в /system/bots — отдельно от записи parse.ly;
• если сайт не подключён к Parse.ly как клиент — категория «запретить» для обоих вариантов токена; если подключён, но нагрузка мешает — rate-limit;
• allow оставляйте только при подтверждённой активной подписке на сервис;
• после изменения сверьте логи по обоим паттернам — parse.ly и parsely.com — хиты должны уйти синхронно.

С кем не путать parsely.com

Стратегия allow/deny для parsely.com

Главное, что стоит помнить про parsely.com: это не отдельный бот, а альтернативный UA-паттерн того же оператора, что и parse.ly. Решение allow/deny должно быть одинаковым для обоих вариантов — иначе есть риск заблокировать один паттерн, оставив другой открытым, что сведёт на нет смысл правила.