Tumblr — крупный, всем известный сервис микроблогов, с 2019 года входящий в состав Automattic (той же компании, что владеет WordPress.com). Но, в отличие от некоторых других записей в этой энциклопедии, официальной технической документации именно про исходящего бота с токеном tumblr найти не удалось — придётся оперировать обоснованной, но не строго подтверждённой версией. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».
Что такое Tumblr в контексте бота
Сам сервис Tumblr — крупный микроблогинговый сервис с функциями репостов и встраивания контента. Самое правдоподобное объяснение визитов бота на сторонние сайты — генерация превью для ссылок, которые пользователи размещают в постах: заголовок, описание, изображение, аналогично тому, как это делают Facebook External Hit или Twitter Card fetcher для своих сервисов. Официального подтверждения именно такого механизма от компании нет, поэтому это рабочая гипотеза, основанная на типичном поведении крупных социальных сервисов, а не установленный факт.
Отдельно стоит знать: Tumblr публикует официальную документацию для своего API, и там прямо указано требование к сторонним разработчикам — использовать единую, консистентную строку User-Agent для приложений, обращающихся к API Tumblr. Это, впрочем, касается запросов приложений к самому Tumblr, а не бота, который Tumblr отправляет на сторонние сайты, — не стоит путать эти два разных механизма.
| Параметр | Значение |
| Название | Tumblr |
| User-Agent (токен/паттерн) | tumblr |
| Оператор | Tumblr (входит в состав Automattic) |
| Назначение | Не задокументировано официально; наиболее вероятная гипотеза — генерация превью для расшаренных ссылок |
| Список IP-адресов | ❌ Официального списка не обнаружено; проверяйте ASN/поведение и не полагайтесь только на UA |
| Соблюдение robots.txt | Не задокументировано явно для этого конкретного токена; проверяйте по факту логов на вашем домене |
| Используется для обучения моделей | Не задокументировано явно |
| Категория TrafficVeil | Легитимный / Прочие краулеры и сервисы |
Как работает Tumblr-бот (рабочая гипотеза)
Идентифицируется в access.log по паттерну User-Agent tumblr. Если гипотеза о превью верна, обращения должны быть точечными — привязанными к конкретным URL, которыми поделились в постах, а не систематическим обходом всего сайта. Это стоит проверить на практике: посмотрите, концентрируются ли запросы на нескольких конкретных страницах или расползаются по всему каталогу — второе больше похоже на нетипичное поведение, которое стоит проверить отдельно.
Нагрузка на сервер
На отдельных доменах поведение может выглядеть как волна автоматических запросов без пользовательских сессий. Даже при умеренной средней частоте возможны локальные всплески, похожие на L7-нагрузку: много 200 OK без роста реальных сессий. Признаки проблемной активности:
- рост RPS без роста конверсий;
- обход пагинации/каталога — нетипично для гипотезы о превью-боте, стоит присмотреться внимательнее;
- повторяющиеся запросы к тяжёлым страницам;
- давление на origin CPU и bandwidth.
Обнаружение в логах
# Все запросы
grep -i "tumblr" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "tumblr" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP
grep -i "tumblr" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Частота по дням
grep -i "tumblr" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: User-Agent легко подделать, а официального списка IP у оператора нет. Для критичных решений дополнительно проверяйте IP/ASN, частоту, path-паттерны — и в первую очередь смотрите, действительно ли запросы точечные (что подтверждало бы гипотезу про превью), а не систематические:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt
# Полная блокировка User-agent: tumblr Disallow: / # Точечное ограничение User-agent: tumblr Disallow: /admin/ Disallow: /cart/ Disallow: /account/ Allow: / # Разрешить полностью User-agent: tumblr Allow: /
Учитывайте: без подтверждённой документации нет гарантий, что этот бот вообще ориентируется на robots.txt. Для гарантированного контроля используйте серверные правила или TrafficVeil, а не полагайтесь только на файл.
Управление на уровне сервера
Nginx
if ($http_user_agent ~* "tumblr") {
return 403;
}
# Мягкий вариант — rate limit
limit_req_zone $binary_remote_addr zone=tumblr:10m rate=15r/m;
location / {
if ($http_user_agent ~* "tumblr") {
limit_req zone=tumblr burst=30 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} tumblr [NC]
RewriteRule ^ - [F,L]
Через TrafficVeil
- откройте список известных ботов в панели домена или
/system/bots; - найдите tumblr / Tumblr;
- если гипотеза о генерации превью верна и для вас важно, чтобы ссылки корректно отображались при репостах в Tumblr — оставьте allow;
- если запросы выглядят систематическими, а не точечными — рассмотрите запрет как более безопасный вариант по умолчанию;
- проверьте логи: запросы должны уходить в блок/лимит согласно выбранной политике.
Рекомендации по оптимизации
- Оценивайте пользу с поправкой на неопределённость: если точное назначение бота не установлено, а трафик заметен, — разумнее начать с осторожной политики (rate-limit), чем сразу с полного allow;
- не блокируйте поисковые роботы Google/Yandex случайно, если рядом настраиваете широкие правила;
- сначала измерьте долю запросов бота в логах/аналитике TrafficVeil, потом принимайте решение;
- для всплесков чаще достаточно rate-limit вместо полного 403;
- если заметите систематический, а не точечный обход — это повод усомниться в исходной гипотезе о превью-боте и присмотреться к трафику внимательнее.
Сравнение с похожими ботами
| Бот | Кластер | User-Agent | Метка |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
Сводная таблица стратегии
| Цель сайта | Рекомендация |
| Важно, чтобы ссылки корректно отображались при репостах в Tumblr | Allow / разрешить в TrafficVeil |
| Бот не нужен и только грузит сервер | Disallow + запрет в TrafficVeil или 403 на nginx/Apache |
| Нужен доступ, но беспокоит частота или паттерн выглядит систематическим | Rate-limit вместо полной блокировки, с дальнейшим наблюдением |
| Назначение бота не удаётся подтвердить по логам конкретного сайта | Действовать осторожно — предпочесть ограничение полному доверию |