PagePeeker — сервис thumbnail/screenshot: по запросу клиентов снимает превью страницы (часто для каталогов/виджетов). Не поисковик и не AI-training crawl.
Параметры
| Параметр | Значение |
|---|---|
| UA | Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36 (compatible; PagePeeker/3.0; +https://pagepeeker.com/robots/) |
| Токен robots | PagePeeker |
| Docs | pagepeeker.com/robots |
| Частота | По официальному описанию — повтор съёмки страницы примерно раз в 5–7 дней, в рамках модели «по запросу клиента» |
| robots.txt | Реальные полевые логи подтверждают, что бот запрашивает файл robots.txt перед обходом; при этом один из независимых трекеров ботов утверждает, что гарантированного соблюдения директив ожидать не стоит. Для надёжного результата дублируйте на сервере |
Зачем сайту может быть выгоден PagePeeker
Сам оператор описывает модель просто: скриншот вашей страницы делают, потому что кто-то из их клиентов его запросил — обычно чтобы улучшить опыт своих посетителей, показывая наглядное превью ссылки в каталоге или виджете. По словам PagePeeker, это обычно присылает больше трафика обратно на исходный сайт, помогая получить лучшую видимость. Если превью встречается на площадках партнёров или в каталогах, где присутствие сайта желательно, это скорее положительный, чем нейтральный сценарий.
Нагрузка
По сводке TrafficVeil — порядка 1,8 тысячи запросов. Небольшой объём согласуется с моделью «по запросу клиента» — это не массовый обход, а точечные обращения к конкретным страницам, интересующим клиентов сервиса.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Контроль
grep -i "PagePeeker" /var/log/nginx/access.logUser-agent: PagePeeker
Disallow: /if ($http_user_agent ~* "PagePeeker") {
return 403;
}Рекомендации
- Устраивает появление превью у партнёров и в каталогах — Allow, это может приносить дополнительный трафик, а не только нагрузку
- Не хотите, чтобы делали скриншоты или забирали HTML страниц, — Disallow + deny; учитывая неоднозначность по фактическому соблюдению robots.txt, для гарантии добавьте и серверное правило
- На Google не влияет — сервис не связан с поисковой индексацией
Частые вопросы
Зачем PagePeeker делает скриншот именно моей страницы?
Как часто PagePeeker повторно снимает одну и ту же страницу?
Точно ли PagePeeker соблюдает robots.txt?
Стоит ли всегда блокировать PagePeeker как нежелательный трафик?
Какой объём трафика типичен для PagePeeker?
Влияет ли PagePeeker на позиции сайта в поисковых системах?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.