Боты5 мин чтения·23 июня 2026 г.·обновлено 19 ноября 2026 г.

SemrushBot: назначение и ограничение обхода

SemrushBot и связанные агенты собирают данные для разных инструментов Semrush. Политику основного краулера нельзя автоматически переносить на Site Audit и остальные сервисные имена.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота SemrushBot-SWA: нежелательный бот

SemrushBot и связанные агенты собирают данные для разных инструментов Semrush. Политику основного краулера нельзя автоматически переносить на Site Audit и остальные сервисные имена.

Техническая редакция: 19 ноября 2026 года. Уточнены назначение агента, первичные источники и границы рекомендаций. Невоспроизводимые старые локальные цифры сняты; новое нагрузочное испытание не проводилось.

Назначение и первичный источник

На официальной странице Semrush перечислены назначения и токены. Разбирайте точную подпись и нужный сервис, а не объединяйте все обращения в одну неподтверждённую категорию.

Как проверить источник запроса

Имя SemrushBot можно подделать. Способ идентификации и правила оператора проверяйте в текущем документе. Не строите постоянный allowlist на старой таблице адресов, одном ASN или простом совпадении User-Agent.

Как управлять доступом

Для основного SemrushBot оператор описывает Crawl-delay с верхней границей 10 секунд. Поведение конкретного другого агента уточняйте отдельно. Пример ниже не распространяет настройку на все сервисы Semrush.

User-agent: SemrushBot
Disallow: /private/
Crawl-delay: 10
Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

Если обход мешает сайту

  • Уточните, какой именно агент запрашивает тяжёлые пути.
  • Проверьте конфигурацию robots.txt и ответ файла.
  • Сопоставьте частоту с ошибками origin и реальной загрузкой ресурсов.
  • Уберите дубли URL и бесконечные варианты фильтров в приложении, если они подтверждены.
  • После изменения правил проверьте доступ обычных посетителей и необходимых сервисов.

Прежние локальные числа pbnshield без сохранённого агрегата сняты. Их нельзя использовать как текущий показатель распространённости или эффективности блокировки.

Как найти обращения и разобрать ошибки

Начните с точной подписи в доверенном журнале. Команда ниже только отбирает строки и не подтверждает владельца IP:

grep -i -- 'SemrushBot' /var/log/nginx/access.log

Сопоставьте время, URL, исходный адрес, HTTP-код и причину решения фильтра. Ошибка DNS, ответ приложения, отказ WAF и общий лимит по IP требуют разных действий. Не используйте найденный UA как единственное основание отключить защиту.

Публичные наблюдения TrafficVeil

В сохранённом снимке 19.11.2026 для имени SemrushBot указано 9 556 638 HTTP-записей за 25.05–18.11.2026. Это заявленное имя в классификации: User-Agent подделывается, а старая история может содержать повторный учёт. Показатель не является числом уникальных посетителей или подтверждённых запросов оператора. Формулы и ограничения среза.

Как применять защиту TrafficVeil

Настройки выбирают по задачам домена. Общие ограничения частоты задаются по IP на весь домен; произвольных отдельных порогов для каждого URL в кабинете нет. Профили CMS и WAF дополняют фильтрацию, но не являются обещанием таких URL-лимитов. После изменений проверяйте вход, формы, оплату, API и нужные интеграции. Документация TrafficVeil описывает доступные действия.

Границы выводов

Обход не доказывает индексацию или влияние на позиции. Длительность запроса не измеряет CPU, а уменьшение количества запросов не доказывает экономию расходов. Для таких выводов нужны отдельные серверные измерения, одинаковые периоды и расчёт стоимости. Исторические сведения, которые нельзя воспроизвести, не используются в этой редакции как доказательство.

Связанные агенты

Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil