GoParserBot: когда имя выдаёт технологию, но скрывает автора

Название говорит само за себя: GoParserBot — почти наверняка самодельный краулер, написанный на языке Go для парсинга и извлечения контента со страниц, используемый в скрапинг-проектах и data pipeline. Кто именно его запустил — вопрос открытый, устойчивой публичной документации оператора нет.

Что такое GoParserBot

Почему имя выдаёт технологию, но не автора

Экосистема веб-скрапинга на Go достаточно развита: популярные библиотеки вроде Colly упрощают написание краулера буквально до нескольких строк кода, и разработчики нередко забывают заменить дефолтный или самопальный User-Agent на что-то более информативное. Токен вида «GoParserBot» — типичный продукт такого подхода: разработчик дал боту описательное имя («парсер на Go»), но не связал его с публичной компанией или сервисом. Практический вывод: сам факт, что имя звучит как «технический продукт», а не случайный набор символов, не означает, что за ним стоит легитимный, узнаваемый бизнес. Это может быть как вполне безобидный внутренний инструмент небольшой компании, так и скрипт, написанный специально для обхода защиты конкретно вашего сайта.

Зачем GoParserBot приходит на сайт

Появление GoParserBot в access.log означает машинный доступ к сайту — не пользовательскую сессию.

• Какие зоны чаще трогает: публичные URL, иногда API и статику
• Что ищет: контент, метаданные, availability или ссылочный граф — в логике категории «Прочие краулеры и сервисы»
• Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует goparserbot на пагинации и карточках. После rate-limit/запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у goparserbot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах.

Как найти GoParserBot в логах

# Базовый поиск
grep -i "goparserbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "goparserbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "goparserbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "goparserbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Подделать User-Agent может любой скрипт. Для решения allow/deny смотрите связку: UA + ASN/IP + частоту + набор URL. Если оператор публикует диапазоны — сверяйте их; если нет, опирайтесь на поведение и политику TrafficVeil.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Дополнительный технический признак: если запросы приходят с характерным HTTP-клиентом, свойственным Go (например, отсутствие типичных для браузера заголовков или подозрительно «чистый» набор Accept-заголовков), это косвенно подтверждает происхождение от самописного Go-инструмента, а не от подделанного UA поверх другого движка.

robots.txt для GoParserBot

# Жёсткий запрет
User-agent: goparserbot
Disallow: /

# Разрешить всё
User-agent: goparserbot
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: goparserbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: Disallow/403 для goparserbot, если пользы нет. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "goparserbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=goparserbot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "goparserbot") {
        limit_req zone=goparserbot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} goparserbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите goparserbot / GoParserBot в ботах домена или в /system/bots
• Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit
• Allow только при явной пользе от GoParserBot
• После изменения сверьте логи: хиты GoParserBot должны уйти в блок/лимит, а нужные поисковики остаться

Рекомендации: что делать с GoParserBot

• Если пользы нет — Disallow/403 для goparserbot
• Если польза есть — Allow только при явной пользе от GoParserBot
• Если нагрузка мешает — сначала rate-limit, затем полный запрет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot
• Что будет при блокировке: обычно ничего критичного для SEO не теряете, если это не поисковик и не ваш сервисный агент