WebTextBot, он же webtext-bot — агент без подтверждённого публичного оператора и без официального IP-листа. Название намекает на что-то, связанное с текстовым контентом, но в каталогах ботов эта запись обычно значится как uncategorized — то есть даже сами трекеры не берутся утверждать, кто и зачем его запустил.
Параметры
| Параметр | Значение |
|---|---|
| Токен в логах | webtext-bot / WebTextBot |
| Оператор | ❌ Не подтверждён |
| IP-лист | ❌ Нет |
| robots.txt | Не гарантировано |
О чём говорит (и не говорит) само название
«WebText» в имени бота может отсылать к сбору текстового контента страниц — для датасетов, индексации или анализа. Но это лишь предположение по структуре названия, а не факт: точно такое же имя мог выбрать кто угодно, от исследовательского скрипта до коммерческого сборщика данных, и ни то, ни другое не подтверждено документально. Не стройте политику allow/deny на догадках о названии — опирайтесь на наблюдаемое поведение.
Нагрузка
По сводке TrafficVeil — порядка 8 тысяч запросов, в основном сконцентрированных в мае 2026 года. Такая концентрация в одном месяце, а не равномерное распределение по кварталу, сама по себе интересный сигнал: похоже на разовую кампанию сбора данных, а не на постоянно работающий сервис с регулярным расписанием. Стоит зафиксировать, повторится ли всплеск в последующие месяцы, или май оказался исключением.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Контроль
grep -i "webtext-bot\|WebTextBot" /var/log/nginx/access.logUser-agent: webtext-bot
Disallow: /if ($http_user_agent ~* "webtext-bot|WebTextBot") {
return 403;
}Что можно проверить дополнительно
- Сравните даты активности бота (в основном май 2026) с любыми внутренними или внешними событиями того периода — иногда всплеск разового сборщика данных совпадает с публикацией конкретного материала, которым кто-то заинтересовался
- Посмотрите, какие именно URL запрашивал бот — сфокусированный интерес к конкретному разделу говорит о целевом сборе, а не о фоновом шуме
- Проверьте разброс IP — если это один источник, вероятно, разовый скрипт; если много разных сетей — либо распределённая инфраструктура одного оператора, либо несколько независимых скриптов с одинаковым именем
Рекомендации
- Нет доказанной пользы — deny; учитывая разовый характер всплеска, полный запрет не создаёт рисков для регулярных сценариев
- На позиции в Google блокировка не влияет
- Если майский всплеск не повторится, можно ослабить контроль до простого мониторинга — постоянно активной угрозы поведение не подтверждает
Частые вопросы
Кто стоит за WebTextBot?
О чём говорит слово «WebText» в названии бота?
Почему активность WebTextBot сосредоточена в основном в мае 2026 года?
Как понять, один это источник или несколько скриптов с одинаковым именем?
Стоит ли искать связь всплеска с конкретными событиями на сайте?
Нужно ли постоянно держать жёсткую блокировку, если всплеск был разовым?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.