Строка hatenablog-bot в базах помечена «нежелательный» с рекомендацией сразу блокировать. На деле это официальный бот крупной японской интернет-компании Hatena (с 2001 года) — фетчер превью-ссылок для блог-платформы Hatena Blog, а не системный сборщик данных.
Что такое HatenaBlog-bot на самом деле
Hatena Co., Ltd. — японская интернет-компания, оператор целой сети сервисов: социальные закладки Hatena Bookmark, блог-платформа Hatena Blog и ряд смежных инструментов для поиска, сохранения и репоста контента. HatenaBlog-bot — один из нескольких специализированных краулеров компании (есть и другие, каждый со своей задачей): он забирает контент страницы, чтобы сгенерировать превью-карточку или embed, когда автор Hatena Blog вставляет вашу ссылку в свой пост.
| Параметр | Значение |
| Название | HatenaBlog-bot |
| User-Agent / паттерн | hatenablog-bot (например, HatenaBlog-bot/0.02) |
| Оператор | Hatena Co., Ltd., Япония — интернет-компания с 2001 года |
| Категория TrafficVeil | Фетчер превью-ссылок для блог-платформы Hatena Blog (не системный краулер и не «прочий нежелательный сервис») |
| Что делает на сайте | Забирает title, description и превью-изображение конкретной страницы, на которую сослался автор в посте на Hatena Blog |
| Список IP | ❌ Отдельного публичного списка нет; краулеры Hatena обычно работают из японских дата-центров (AWS/Google Cloud) |
| robots.txt | По данным независимых наблюдений, ни один из топовых сайтов не блокирует Hatena в своих robots.txt |
| Пометка TrafficVeil | Легитимный — визит означает, что вашу страницу упомянули в посте на Hatena Blog |
Зачем HatenaBlog-bot приходит на сайт
Триггер — не расписание, а конкретное действие автора: он сослался на вашу страницу в своём блоге на платформе Hatena, и бот обращается ровно к этой одной странице, чтобы вытащить мета-теги для превью. Тот же принцип, что у Slackbot-LinkExpanding, Mediumbot-MetaTagFetcher или Snap URL Preview Service — точечный, событийный визит, а не системный обход сайта. Это не поисковый краулер: на позиции в Google или Яндексе он никак не влияет.
Почему пометка «нежелательный» здесь ошибочна
Нагрузка от такого фетчера минимальна и предсказуема: один запрос на одну упомянутую ссылку. Для сайтов, у которых есть аудитория в Японии или интерес со стороны японских блогеров, блокировка не защищает от постороннего сбора данных, а лишает страницу нормального превью при упоминании в Hatena Blog — вместо привлекательной карточки читатели увидят голую ссылку.
Как найти HatenaBlog-bot в логах
# Базовый поиск
grep -i "hatenablog-bot" /var/log/nginx/access.log
# Какие именно страницы упоминали в постах Hatena Blog
grep -i "hatenablog-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "hatenablog-bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — единичные точечные визиты, привязанные к конкретной странице, характерны именно для такого фетчера, а не для спуфинга:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант — не мешать корректным превью)
User-agent: HatenaBlog-bot
Allow: /
# Закрыть только чувствительные разделы
User-agent: HatenaBlog-bot
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: для этого бота разумный вариант по умолчанию — «легитимный» без rate-limit: нагрузка минимальна, а польза (корректные превью и потенциальный японский трафик при упоминании в Hatena Blog) перевешивает риски. Переключать на «запретить» стоит только если японская аудитория заведомо не релевантна бизнесу.
Что в итоге делать с HatenaBlog-bot
| Ситуация | Действие |
| Стандартный случай | Allow без rate-limit — визитов мало, а превью в Hatena Blog полезны |
| Японская аудитория не релевантна бизнесу | Disallow / запрет в TrafficVeil — потери минимальны |
| Подозрение на спуфинг (высокая частота, обход многих URL) | Сверять по ASN — настоящий фетчер так себя не ведёт |