WebScraperBot: честное имя не всегда значит худший бот

WebScraperBot — обобщённый User-Agent, под которым в логах ходят скрейперы / автоматизация сбора данных. В отличие от Ahrefs, Serpstat или Yandex, у этого имени нет устойчивой официальной страницы оператора, публичного IP-feed и процедуры верификации. На практике строка легко подделывается: за ней может быть облачный scraper, чужой скрипт или разовый парсер. Важно: не путайте с брендом no-code «Web Scraper» (webscraper.io) и случайными open-source ботами с похожим названием. Совпадение слова «WebScraper» в маркетинге ≠ доказательство, кто именно бьёт ваш origin.

Что известно о WebScraperBot

Парадокс «честного» имени

Стоит знать любопытную деталь из практики этичного скрейпинга: часть открытых руководств для разработчиков прямо советует **самим** честно указывать в UA, что их клиент — скрейпер, объясняя это прозрачностью перед владельцами сайтов. Это создаёт неочевидный, но полезный ориентир: узнаваемое, «говорящее» имя вроде WebScraperBot иногда может принадлежать более прозрачному, не пытающемуся скрыться автору, тогда как по-настоящему недобросовестные скрейперы чаще маскируются под обычный браузер Chrome/Safari, а не используют самоописательное название. Это не повод автоматически доверять токену, но полезная поправка к интуиции «раз бот — значит скрывается».

Ещё одна причина не доверять одному UA

По анализу индустрии бот-трафика за 2026 год, среди запросов, представляющихся известными AI-краулерами и скрейперами, около 5,7% оказались подделкой строки UA. Если даже узнаваемые, документированные имена подделывают в заметной доле случаев, полностью анонимный generic-токен вроде WebScraperBot тем более нельзя принимать на веру без проверки поведения.

WebScraperBot vs легитимные краулеры

Практика: относитесь к WebScraperBot как к нежелательному scraper-трафику, пока не доказано обратное (контракт, ваши же джобы, allowlist IP).

Нагрузка на сервер

По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) паттерн webscraperbot набрал порядка 512 тысяч запросов — почти все в мае (~479 тыс.), март ~0, апрель ~7 тыс., июнь ~27 тыс. Такой профиль похож на волну/кампанию скрейпинга, а не на стабильный поисковый краул. Свежесть: сверьте июль–август; если волна ушла, политика может быть мягче, но deny по умолчанию обычно безопасен.

Обнаружение в логах

grep -i "WebScraperBot" /var/log/nginx/access.log

# Топ IP и URL — главное для расследования
grep -i "WebScraperBot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
grep -i "WebScraperBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Рядом с другими generic-клиентами
grep -iE "WebScraperBot|python-requests|scrapy|httpx|curl/" /var/log/nginx/access.log | wc -l

Без официального IP-листа верификация = анализ IP/ASN, частоты, глубины обхода и того, бьют ли служебные/ценовые URL.

robots.txt

User-agent: WebScraperBot
Disallow: /

Имеет смысл как сигнал и для тех редких клиентов, что robots читают. Не считайте это защитой: generic scrapers часто игнорируют файл. Дублируйте запрет на Nginx/Apache/TrafficVeil.

Управление на уровне сервера

Nginx

if ($http_user_agent ~* "WebScraperBot") {
    return 403;
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} WebScraperBot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите webscraperbot / WebScraperBot
• Базовая рекомендация — запретить (категория нежелательный)
• При повторных волнах с новых IP — усиливайте поведенческие правила / rate-limit на аномальную автоматизацию, не только UA
• Если это ваши джобы — allowlist конкретных IP, а не открывайте UA всем

Рекомендации

• По умолчанию блокируйте WebScraperBot на сервере/TrafficVeil
• Не доверяйте одному UA — смотрите IP и паттерн; помните про 5,7% подделок даже у известных имён
• robots.txt недостаточен как единственный контроль
• Закройте ценные эндпоинты (прайсы, API, выгрузки) авторизацией, не только Disallow
• Не путайте с Googlebot — блок scraper-UA на поиск не влияет

С кем не путать

Сводная стратегия