StartmeBot: когда robots.txt бессилен, есть запасной вариант

StartmeBot — fetcher сервиса start.me (персональная стартовая страница с закладками и виджетами, в духе старого iGoogle или Netvibes): забирает title, favicon и содержимое RSS-фидов сайта, чтобы аккуратно отобразить его в виде виджета на странице пользователя. Не полноценный индексирующий поисковик.

Параметры

Альтернатива серверной блокировке — прямой контакт

Поскольку robots.txt для этого бота не работает по определению, у start.me исторически предусмотрен другой канал: управлять доступом бота к конкретному сайту можно, написав им напрямую по email. Это стоит рассматривать как более мягкий первый шаг — особенно если нагрузка невелика и хочется просто уточнить детали или попросить снизить частоту, а не сразу закрывать доступ на уровне сервера.

Зачем StartmeBot приходит на сайт

Когда пользователь start.me добавляет ссылку на сайт как закладку или RSS-виджет на свою персональную стартовую страницу, боту нужно подтянуть заголовок страницы, favicon и, если есть RSS-фид, его содержимое — чтобы виджет выглядел аккуратно и обновлялся. Появление этого бота в логах, по сути, означает, что кто-то реально пользуется вашим сайтом или его RSS-лентой достаточно активно, чтобы вынести её на свою личную стартовую страницу, — нейтральный или даже слегка позитивный сигнал, а не признак нежелательного трафика.

Нагрузка

По сводке TrafficVeil — порядка 0,9 тысячи запросов. Небольшой объём согласуется с точечной природой fetcher-задачи — сбор метаданных и RSS, а не массовый обход всего сайта.

Контроль

grep -i "startmebot\|StartmeBot" /var/log/nginx/access.log

if ($http_user_agent ~* "startmebot") {
    return 403;
}

Рекомендации

• Пользователи start.me вам полезны (например, RSS-ленту сайта реально читают через виджеты) — Allow
• Не хотите fetch — серверный deny; не надейтесь на robots.txt, он этим ботом не поддерживается, либо для начала попробуйте написать напрямую по контакту с сайта start.me/bot
• На Google не влияет — сервис не связан с поисковой индексацией