Serendeputybot в логах: индекс открытого веба от инди-разработчика

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а serendeputybot с User-Agent serendeputybot. У этого бота, в отличие от многих «безымянных» агентов в этой категории, есть первоисточник, который прямо адресован вебмастерам: на serendeputy.com размещена отдельная страница «serendeputy-bot», которая начинается словами «Добро пожаловать, вы, вероятно, нашли SerendeputyBot в своих логах и хотите узнать, что это такое».

1. Что такое serendeputybot

Serendeputy — это персональный «движок новостной ленты» для открытого веба: небольшой инди-проект одного разработчика (Elixir, работает над идеями открытого веба с 1997 года), который строит собственный индекс интернета, размеченный примерно сотней миллионов тегов — практически каждое существительное английского языка (человек, место, вещь, понятие) получает свой тег, как и почти каждый активный сайт или RSS-лента. Пользователь подписывается на интересующие его теги, а «депутат» (deputy) — персональный программный агент — собирает подходящие материалы в ленту, доступную через веб, email или RSS. Именно serendeputybot и есть тот самый «библиотекарь», который читает и индексирует открытый веб для питания этой системы.

2. Зачем serendeputybot приходит на сайт

Бот индексирует контент сайта, чтобы включить его в общий тегированный индекс Serendeputy — по заявлению создателя, каждая ссылка ведёт напрямую к источнику, без клоакинга, фрейминга и других «грязных приёмов». Это не проверка виджета и не точечный fetcher одной ссылки, а часть более широкой задачи — построения открытого, альтернативного «walled gardens» (закрытым платформам вроде соцсетей) индекса веба.

• Какие зоны чаще трогает: публичные URL, RSS-ленты сайта — практически любой активный сайт или фид может получить собственный тег в системе;
• Что ищет: контент для индексации и тегирования — темы, упоминания, связи между материалами;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный, привязан к логике пополнения открытого индекса, а не к интересу конкретного человека в моменте.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует serendeputybot на пагинации и карточках. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно.

3. Нагрузка и риски именно для serendeputybot

Отдельной строки в публичной сводке top-bot TrafficVeil у serendeputybot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Поскольку сервис — небольшой независимый проект, а не масштабная коммерческая платформа, ожидаемый объём трафика от него обычно скромный, но конкретных публичных данных о лимитах или частоте обхода первоисточник не приводит.

4. Как найти serendeputybot в логах

Не ищите «просто ботов» — ищите конкретный токен serendeputybot и рядом смотрите соседей по семейству.

# Базовый поиск
grep -i "serendeputybot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "serendeputybot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "serendeputybot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "serendeputybot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "serendeputybot|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + набор URL, а при сомнениях — сверяйтесь с первоисточником на serendeputy.com/about/serendeputy-bot, где создатель сервиса прямо объясняет назначение бота.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для serendeputybot

# Жёсткий запрет
User-agent: SerendeputyBot
Disallow: /

# Разрешить всё
User-agent: SerendeputyBot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: serendeputybot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для serendeputybot, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "serendeputybot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=serendeputybot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "serendeputybot") {
        limit_req zone=serendeputybot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} serendeputybot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите serendeputybot в ботах домена или в /system/bots;
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
• Allow только при явной пользе от serendeputybot — например, если для сайта имеет смысл распространение через альтернативные, немейнстримные каналы открытого веба;
• После изменения сверьте логи: хиты serendeputybot должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с serendeputybot

• Если пользы нет — Disallow/403 для serendeputybot;
• Если польза есть — Allow только при явной пользе от serendeputybot;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: обычно ничего критичного для SEO не теряете — это небольшой независимый индекс-проект, а не поисковая система.

8. С кем не путать serendeputybot

9. Стратегия allow/deny для serendeputybot