SemrushBot и связанные агенты собирают данные для разных инструментов Semrush. Политику основного краулера нельзя автоматически переносить на Site Audit и остальные сервисные имена.
Техническая редакция: 19 ноября 2026 года. Уточнены назначение агента, первичные источники и границы рекомендаций. Невоспроизводимые старые локальные цифры сняты; новое нагрузочное испытание не проводилось.
Назначение и первичный источник
На официальной странице Semrush перечислены назначения и токены. Разбирайте точную подпись и нужный сервис, а не объединяйте все обращения в одну неподтверждённую категорию.
Как проверить источник запроса
Имя SemrushBot можно подделать. Способ идентификации и правила оператора проверяйте в текущем документе. Не строите постоянный allowlist на старой таблице адресов, одном ASN или простом совпадении User-Agent.
Как управлять доступом
Для основного SemrushBot оператор описывает Crawl-delay с верхней границей 10 секунд. Поведение конкретного другого агента уточняйте отдельно. Пример ниже не распространяет настройку на все сервисы Semrush.
User-agent: SemrushBot
Disallow: /private/
Crawl-delay: 10Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Если обход мешает сайту
- Уточните, какой именно агент запрашивает тяжёлые пути.
- Проверьте конфигурацию robots.txt и ответ файла.
- Сопоставьте частоту с ошибками origin и реальной загрузкой ресурсов.
- Уберите дубли URL и бесконечные варианты фильтров в приложении, если они подтверждены.
- После изменения правил проверьте доступ обычных посетителей и необходимых сервисов.
Прежние локальные числа pbnshield без сохранённого агрегата сняты. Их нельзя использовать как текущий показатель распространённости или эффективности блокировки.
Как найти обращения и разобрать ошибки
Начните с точной подписи в доверенном журнале. Команда ниже только отбирает строки и не подтверждает владельца IP:
grep -i -- 'SemrushBot' /var/log/nginx/access.logСопоставьте время, URL, исходный адрес, HTTP-код и причину решения фильтра. Ошибка DNS, ответ приложения, отказ WAF и общий лимит по IP требуют разных действий. Не используйте найденный UA как единственное основание отключить защиту.
Публичные наблюдения TrafficVeil
В сохранённом снимке 19.11.2026 для имени SemrushBot указано 9 556 638 HTTP-записей за 25.05–18.11.2026. Это заявленное имя в классификации: User-Agent подделывается, а старая история может содержать повторный учёт. Показатель не является числом уникальных посетителей или подтверждённых запросов оператора. Формулы и ограничения среза.
Как применять защиту TrafficVeil
Настройки выбирают по задачам домена. Общие ограничения частоты задаются по IP на весь домен; произвольных отдельных порогов для каждого URL в кабинете нет. Профили CMS и WAF дополняют фильтрацию, но не являются обещанием таких URL-лимитов. После изменений проверяйте вход, формы, оплату, API и нужные интеграции. Документация TrafficVeil описывает доступные действия.
Границы выводов
Обход не доказывает индексацию или влияние на позиции. Длительность запроса не измеряет CPU, а уменьшение количества запросов не доказывает экономию расходов. Для таких выводов нужны отдельные серверные измерения, одинаковые периоды и расчёт стоимости. Исторические сведения, которые нельзя воспроизвести, не используются в этой редакции как доказательство.
Связанные агенты
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.