GuestpostsBot: охотник за площадками для гостевых постов

GuestpostsBot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Прочие краулеры и сервисы». Устойчивого подтверждённого оператора у токена нет, но само название довольно прозрачно намекает, для чего такие инструменты обычно создают.

Что такое GuestpostsBot

Наиболее вероятная ниша: поиск площадок для гостевых постов

На рынке существует целая категория коммерческих инструментов под названиями вроде «Guest Post Explorer» или «Outreach Bot» — их используют SEO-агентства и линкбилдеры, чтобы массово сканировать сайты в поисках площадок, готовых принимать гостевые публикации: такие боты проверяют наличие страниц «Write for us», собирают контакты для аутрича и оценивают метрики домена перед тем, как предложить сотрудничество. Название GuestpostsBot прямо ложится в эту логику по смыслу. Это правдоподобная рабочая гипотеза о назначении токена, но не доказанный факт о конкретном операторе — не стоит принимать совпадение по смыслу названия за подтверждённую личность бота. Если гипотеза верна, для сайта это означает: краулер, скорее всего, ищет не столько контент для копирования, сколько сигналы «сюда можно предложить гостевую статью» — активные разделы блога, открытые формы обратной связи, актуальность публикаций. Особенно это актуально для нишевых SEO-проектов и медиа, куда часто приходят именно с предложениями разместить платный или бартерный гостевой материал.

Зачем GuestpostsBot приходит на сайт

Появление GuestpostsBot в access.log означает машинный доступ к сайту — не пользовательскую сессию.

• Какие зоны чаще трогает: публичные URL, иногда API и статику; при гипотезе про поиск площадок — вероятно, разделы блога и страницы контактов
• Что ищет: контент, метаданные, availability или ссылочный граф — в логике категории «Прочие краулеры и сервисы»
• Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн

Типичный кейс: маркетинг видит всплеск хитов в Метрике/GA, но сессии пустые. Причина — GuestpostsBot. Правильная реакция — не «выключить сайт», а точечно запретить UA/политику бота.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у guestpostsbot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти GuestpostsBot в логах

# Базовый поиск
grep -i "guestpostsbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "guestpostsbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "guestpostsbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "guestpostsbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Если гипотеза про поиск гостевых площадок верна, в топе URL стоит ожидать концентрацию именно на блоге, страницах «о нас»/контактах и, возможно, sitemap — а не на карточках товаров или служебных разделах.

Верификация

Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL. Если оператор публикует диапазоны — сверяйте их; если нет, опирайтесь на поведение и политику TrafficVeil.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для GuestpostsBot

# Жёсткий запрет
User-agent: guestpostsbot
Disallow: /

# Разрешить всё
User-agent: guestpostsbot
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: guestpostsbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: Disallow/403 для guestpostsbot, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "guestpostsbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=guestpostsbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "guestpostsbot") {
        limit_req zone=guestpostsbot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} guestpostsbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите guestpostsbot / GuestpostsBot в ботах домена или в /system/bots
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit
• Allow только при явной пользе от GuestpostsBot
• После изменения сверьте логи: хиты GuestpostsBot должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с GuestpostsBot

• Если пользы нет — Disallow/403 для guestpostsbot, если пользы нет
• Если польза есть — Allow только при явной пользе от GuestpostsBot (например, если сайт сам заинтересован в притоке предложений о гостевых публикациях)
• Если нагрузка мешает — сначала rate-limit, затем полный запрет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot
• Что будет при блокировке: обычно ничего критичного для SEO не теряете, если это не поисковик и не ваш сервисный агент