Hatena — это не один бот, а целая японская экосистема краулеров

В логах сайт может выглядеть «живым», хотя рост дают не посетители, а один из ботов семейства Hatena — крупной японской интернет-компании, работающей с 2001 года и предоставляющей сервисы соцзакладок, блог-платформу и агрегацию контента. Важно сразу понимать: «Hatena» в логах — это не один краулер, а зонтичное имя для целого семейства ботов, каждый со своим отдельным UA-токеном и задачей.

Что такое Hatena

Зачем боты Hatena приходят на сайт

Конкретная причина зависит от того, какой именно бот семейства вы видите:

• HatenaBlog-bot — срабатывает разово, когда кто-то вставил вашу ссылку в пост на платформе Hatena Blog: бот подтягивает контент страницы, чтобы сгенерировать превью-карточку (заголовок, описание, изображение)
• HatenaBookmark — связан с сервисом соцзакладок: анализирует страницу для отображения в ленте Hatena Bookmark, если кто-то добавил её в закладки
• Hatena-Favicon — узкая задача: получение иконки сайта для отображения рядом со ссылкой в интерфейсах Hatena
• Hatena Star — обслуживает систему оценок/реакций на контент внутри экосистемы Hatena

Какие зоны чаще трогает: публичные URL, иногда API и статику — конкретный набор зависит от бота. Что ищет: контент, метаданные, favicon или ссылочный граф — в зависимости от задачи конкретного токена. Чем отличается от браузерного пользователя: нет нормальной сессии, разовые или периодические запросы, привязанные к активности пользователей Hatena, а не к расписанию массового обхода. Типичный кейс: маркетинг видит всплеск хитов в Метрике/GA, но сессии пустые. Причина — один из ботов Hatena. Правильная реакция — не «выключить сайт», а точечно настроить политику для конкретного токена семейства.

Почему это может быть выгодно, а не просто «фоновый шум»

Hatena Bookmark — один из крупнейших сервисов соцзакладок в Японии, и попадание туда способно принести реальный японский трафик и заметность в местном интернет-пространстве. Для сайтов, ориентированных на японскую аудиторию, боты Hatena — не просто технический шум в логах, а потенциальный канал видимости: если контент становится популярным среди пользователей Hatena, это может привести живых посетителей, а не только фоновые запросы.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у hatena может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий — особенно заметно, если контент внезапно завирусился среди японской аудитории и получил всплеск закладок или репостов. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти Hatena в логах

# Базовый поиск по семейству
grep -iE "hatena" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "hatena" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "hatena" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "hatena" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Подделать User-Agent может любой скрипт. Помимо стандартной проверки IP/ASN, для Hatena есть конкретные исторически наблюдаемые ориентиры — запросы фиксировались с хостов вроде gw08.hatena.ne.jp (сеть Sakura Internet, диапазон 59.106.0.0/16) и vpcgw02.hatena.ne.jp (AWS, диапазоны 54.248.0.0/15 и 54.250.0.0/16). Это не официальный исчерпывающий список, но рабочий ориентир.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для Hatena

# Жёсткий запрет всего семейства
User-agent: Hatena
Disallow: /

# Точечный запрет отдельных ботов семейства
User-agent: HatenaBlog-bot
Disallow: /

User-agent: HatenaBookmark
Disallow: /

# Разрешить всё
User-agent: Hatena
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: Hatena
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: поскольку это семейство из нескольких независимых ботов, каждый можно (и часто стоит) настраивать отдельно — например, оставить HatenaBookmark, если вам важна видимость в японских соцзакладках, но ограничить менее нужные варианты. Если конкретный бот игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "hatena") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=hatena:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "hatena") {
        limit_req zone=hatena burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} hatena [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите hatena / Hatena в ботах домена или в /system/bots
• Сайт ориентирован на японскую аудиторию — рассмотрите allow для HatenaBookmark ради потенциальной видимости и трафика
• Японская аудитория не приоритет — можно ставить запрет без риска для остального SEO
• После изменения сверьте логи: хиты hatena должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с Hatena

• Сайт нацелен на японский рынок — Allow для HatenaBookmark и HatenaBlog-bot: блокировка сломает превью ссылок и лишит потенциальной видимости в крупном японском сервисе соцзакладок
• Японская аудитория не релевантна — Disallow/403, критичной пользы визиты не несут
• Нагрузка мешает, но часть функциональности нужна — настраивайте боты семейства по отдельности, а не блокируйте всё разом
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot вместе с hatena