Stripebot — официальный краулер Stripe: обходит сайты пользователей Stripe для оказания сервисов и financial compliance. Не Googlebot и не платёжный webhook.
Параметры
| Параметр | Значение |
|---|---|
| UA | Mozilla/5.0 (X11; Linux {version}) AppleWebKit/{version} (KHTML, like Gecko) Chrome/{version} Safari/{version} (Stripebot/{version}; +https://docs.stripe.com/stripebot-crawler) |
| Docs | docs.stripe.com/stripebot-crawler |
| Верификация | rDNS *.crawl.stripe.com + forward DNS (официальный пошаговый пример есть на странице документации) |
| robots.txt | «В основном» следует RFC 9309 (формулировка самой документации Stripe — не абсолютное «всегда»); распознаёт User-Agent, Allow, Disallow (регистронезависимо) |
| Контакт | stripebot@stripe.com |
Зачем разрешать Stripebot — конкретная причина, а не только «compliance»
Помимо обеспечения сервисов и финансового комплаенса, у Stripe есть собственный Directory — функция поиска бизнесов внутри экосистемы Stripe. Официально компания объясняет: их поиск использует содержимое сайта мерчанта, чтобы сопоставлять бизнес с релевантными запросами клиентов. Если сайт блокирует краулеры Stripe, бизнес становится сложнее найти через этот поиск — то есть у Allow есть прямой практический стимул для тех, кто принимает платежи через Stripe, а не только формальная необходимость.
Официальное заверение о нагрузке
Stripe прямо пишет в документации: их краулер использует алгоритмы для минимизации трафика к серверу — компания заявляет, что специально следит, чтобы обход не влиял на скорость или доступность сайтов пользователей. Это отличает Stripebot от многих других ботов, где вопрос нагрузки остаётся на усмотрение читателя.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Нагрузка
По сводке TrafficVeil — порядка 0,7 тысячи запросов.
Контроль
grep -i "Stripebot" /var/log/nginx/access.loghost # ожидаем *.crawl.stripe.comUser-Agent: Stripebot
Disallow: /private
Allow: /Рекомендации
- Принимаете платежи через Stripe — обычно Allow: это не только поддерживает compliance и сервисы, но и напрямую влияет на то, насколько легко бизнес найти через поиск Stripe Directory
- Не клиент Stripe или не хотите обхода — Disallow Stripebot
- Верификация: UA + rDNS на crawl.stripe.com с обязательным forward-подтверждением, не полагайтесь на одну строку UA
Частые вопросы
Зачем Stripe вообще нужен собственный краулер?
Что теряет бизнес, если заблокировать Stripebot?
Гарантированно ли Stripebot соблюдает robots.txt?
Как достоверно проверить, что запрос действительно от Stripebot?
Заявляет ли Stripe что-то о нагрузке от своего краулера на сервер?
Кому стоит разрешать Stripebot в первую очередь?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.