WebArtexBot — краулер с этим токеном в User-Agent. Устойчивой публичной страницы политики и IP-листа для него обычно нет. Токен встречается в сборных списках блокировки наравне с десятками других малоизвестных ботов — то есть даже составители таких списков не выделяют его отдельным описанием, а просто добавляют в общий реестр «на всякий случай».
Параметры
| Параметр | Значение |
|---|---|
| Токен | WebArtexBot |
| Оператор / docs | ❌ Не подтверждены |
Что говорит контекст, в котором встречается токен
WebArtexBot фигурирует в тех же общих реестрах блокировки, что и множество других generic-ботов без установленного оператора — рядом с такими же малодокументированными токенами, как DomainCrawler, DwnldBot или RavenCrawler. Это не даёт прямого ответа на вопрос «что делает бот», но говорит о статистической норме: подобные списки обычно составляют по факту наблюдаемого поведения (агрессивный обход, отсутствие пользы для сайта), а не по официальной репутации оператора. Само название «Web» + «Artex» + «Bot» не указывает однозначно на конкретную компанию или продукт — это ещё одна составная конструкция без раскрываемого смысла.
Нагрузка
По сводке TrafficVeil — порядка 3,2 тысячи запросов. Небольшой объём сам по себе не говорит ни в пользу, ни против легитимности — важнее характер обхода, чем абсолютное число хитов.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Контроль
grep -i "WebArtexBot" /var/log/nginx/access.logUser-agent: WebArtexBot
Disallow: /if ($http_user_agent ~* "WebArtexBot") {
return 403;
}Что можно проверить дополнительно
- Посмотрите на разброс IP-адресов под этим UA — единичный источник говорит о разовом скрипте, множество разных сетей — о более организованной (и потенциально более настороженно воспринимаемой) инфраструктуре
- Оцените глубину обхода: точечные визиты на конкретные страницы отличаются от массового сканирования всего каталога
- Сверьте коды ответа — если бот получает в основном 403/404, возможно, он уже давно и справедливо блокируется многими сайтами, и вы просто присоединяетесь к общей практике
Рекомендации
- Нет пользы — deny, это стандартный и оправданный подход для токена без подтверждённого оператора и документации
- На позиции в Google блокировка не влияет
- Присутствие токена в чужих сборных блок-листах — не доказательство вредоносности само по себе, но разумный сигнал не делать исключений без явной причины
Частые вопросы
Есть ли отдельная документация или страница оператора для WebArtexBot?
О чём говорит соседство WebArtexBot с другими малодокументированными токенами в блок-листах?
Указывает ли само название WebArtexBot на конкретный продукт?
Как оценить характер обхода без официальных данных об операторе?
Достаточно ли присутствия в чужих блок-листах, чтобы считать бота вредоносным?
Что делать с WebArtexBot при отсутствии подтверждённой пользы?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.