Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

SilktideBot в логах: чья это проверка доступности

Разбираем SilktideBot — краулер платформы веб-governance Silktide (доступность, SEO, качество контента), которую используют компании из Fortune 500. Показываем, почему разовый визит может означать, что кто-то посторонний воспользовался бесплатным публичным сканером, и как найти бота в access.log.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота SilktideBot: нежелательный прочие краулеры и сервисы

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а SilktideBot с User-Agent silktidebot. Оператор здесь реальный и известный: Silktide Ltd — платформа веб-governance, которую использует, по собственному заявлению компании, множество организаций уровня Fortune 500, а также университеты (например, University of Maryland применяет Silktide для собственной программы соответствия доступности).

1. Что такое SilktideBot

Silktide — не узкоспециализированный SEO-краулер, а комплексная платформа: автоматизированное и ручное тестирование доступности сайта по WCAG 2.1/2.2, соответствие ADA, EAA, AODA и другим стандартам, плюс проверки SEO, качества контента и приватности данных. Технически платформа не просто скачивает HTML — по описанию самой компании, она «симулирует настоящий браузер» и рендерит страницу так же, как её увидел бы пользователь, включая проверку сложных пользовательских сценариев (user journey testing). Отдельная важная деталь: у Silktide есть публичный бесплатный сервис проверки доступности (free accessibility scan) — то есть запустить разовое сканирование конкретного URL может кто угодно, не обязательно владелец сайта или его существующий клиент.

Название SilktideBot
User-Agent / паттерн silktidebot
Оператор Silktide Ltd — платформа веб-governance (доступность, SEO, качество контента, приватность), используется Fortune 500 и университетами
Роль Сканирует страницы для проверки доступности (WCAG/ADA/EAA/AODA), SEO, качества контента и приватности данных; полноценно рендерит страницу, а не просто скачивает HTML
Документация / ориентир silktide.com — сайт компании с описанием технологии сканирования; first-party страницы конкретно про бота для вебмастеров не найдено
Список IP ❌ Официального списка IP не найдено — проверяйте по UA и поведению
robots.txt Публичных данных о строгом соблюдении не найдено
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы

2. Зачем SilktideBot приходит на сайт

Визит может означать одно из двух принципиально разных сценариев. Первый — сайт (или его владелец) является платным клиентом Silktide, и платформа регулярно проверяет его на соответствие стандартам доступности и другим критериям как часть подписки. Второй, менее очевидный — кто-то посторонний (конкурент, журналист, исследователь, просто любопытный посетитель) воспользовался бесплатным публичным сервисом Silktide и запустил разовую проверку доступности именно этого URL, без всякого участия владельца сайта.

  • Какие зоны чаще трогает: публичные URL, иногда API и статику — в рамках комплексного сканирования сайта;
  • Что ищет: нарушения доступности (альтернативный текст изображений, контрастность, навигация с клавиатуры, совместимость со скринридерами), а также SEO- и контент-проблемы;
  • Чем отличается от браузерного пользователя: нет нормальной пользовательской сессии, но за счёт полноценного рендеринга страница обрабатывается почти так же, как её видел бы реальный посетитель.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — SilktideBot. Прежде чем реагировать, стоит уточнить у команды, не подписан ли сайт на платформу Silktide сам — если нет, это мог быть кто-то посторонний, воспользовавшийся бесплатным сканером компании.

3. Нагрузка и риски именно для SilktideBot

Отдельной строки в публичной сводке top-bot TrafficVeil у silktidebot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Поскольку платформа делает полноценный рендеринг страниц (а не просто скачивает HTML), при большом сайте единичный полный аудит может создать заметный кратковременный всплеск нагрузки — по независимым отзывам пользователей, сканирование крупных сайтов (порядка 1000+ страниц) может занимать значительное время и генерировать соответствующий объём запросов.

Отдельный репутационный нюанс: Silktide ведёт публичный «Silktide Index» — глобальный рейтинг доступности организаций. Если сайт попал в выборку для этого индекса, результат сканирования может стать публично видимым сравнительным показателем, а не остаться приватным отчётом только для владельца.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти SilktideBot в логах

Не ищите «просто ботов» — ищите конкретный токен silktidebot и рядом смотрите соседей по семейству.

# Базовый поиск
grep -i "silktidebot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — проверьте, разовый это всплеск или регулярное сканирование
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "silktidebot|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + характер обхода (разовый полный аудит сайта против регулярных повторяющихся проверок — первое типично для разового стороннего сканирования через бесплатный сервис, второе — для подписки самого владельца).

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для SilktideBot

# Жёсткий запрет
User-agent: silktidebot
Disallow: /

# Разрешить всё
User-agent: silktidebot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: silktidebot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для silktidebot, если пользы нет. Если сайт сам является клиентом Silktide и полагается на регулярные отчёты о доступности, полная блокировка сломает эту функцию — прежде чем менять правила, уточните у команды.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "silktidebot") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_9242e07260c3_key {
    default "";
    "~*silktidebot" $binary_remote_addr;
}
limit_req_zone $tv_ng_9242e07260c3_key zone=tv_ng_9242e07260c3:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_9242e07260c3 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} silktidebot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

  • Найдите silktidebot в ботах домена или в /system/bots;
  • Уточните у команды, не является ли сайт платным клиентом Silktide — если да, Allow нужен для сохранения регулярных отчётов о доступности;
  • Если это разовый визит без связи с вашей подпиской — вероятно, кто-то воспользовался публичным бесплатным сканером компании, и это не повод для беспокойства сверх обычного разового краулинга;
  • После изменения сверьте логи: хиты SilktideBot должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с SilktideBot

  • Если пользы нет и сайт не подписан на Silktide — Disallow/403;
  • Если сайт — клиент платформы и полагается на регулярные отчёты — Allow без ограничений;
  • Если нагрузка мешает при разовом полном аудите крупного сайта — рассмотрите rate-limit, а не полный запрет, поскольку это, вероятно, разовое явление;
  • Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
  • Что будет при блокировке: если сайт не клиент Silktide — обычно ничего критичного не теряете; если клиент — перестанете получать регулярные отчёты о доступности и других проверках.

8. С кем не путать SilktideBot

Бот / сосед Кластер UA Комментарий
360Spider Прочие краулеры и сервисы 360spider нежелательный, другой оператор
A360-Search Прочие краулеры и сервисы a360-search нежелательный
AASA-Bot Прочие краулеры и сервисы aasa-bot нежелательный
ABEvalBot Прочие краулеры и сервисы abevalbot нежелательный
ActiveComply Прочие краулеры и сервисы activecomply нежелательный, мониторинг комплаенса

9. Стратегия allow/deny для SilktideBot

Ситуация Действие
Сайт — платный клиент Silktide Allow + закрыть /admin /cart /api
Сайт не подписан, визит разовый Disallow допустим — вероятно, кто-то воспользовался бесплатным публичным сканером
Нужен доступ, но нагрузка от полного аудита мешает Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil Deny по умолчанию, исключения — точечно, после уточнения у команды
Подозрение на spoofing UA Не доверять строке UA; смотреть на характер обхода — разовый полный аудит против регулярных проверок
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

SilktideBot — это обязательно моя собственная подписка на сервис?
Не обязательно — у Silktide есть публичный бесплатный сканер доступности, которым может воспользоваться кто угодно для проверки конкретного URL, не только владелец сайта.
Что именно проверяет этот бот на странице?
Соответствие стандартам доступности (WCAG, ADA, EAA, AODA), а также SEO, качество контента и вопросы приватности данных — это комплексная платформа, а не узкий SEO-краулер.
Почему сканирование иногда создаёт заметную нагрузку?
Платформа полноценно рендерит страницы как настоящий браузер, а не просто скачивает HTML, поэтому при большом сайте единичный полный аудит может дать заметный кратковременный всплеск запросов.
Может ли результат проверки моего сайта стать публичным?
Да, потенциально — Silktide ведёт публичный глобальный рейтинг доступности организаций (Silktide Index), и сайт может попасть в эту сравнительную выборку.
Что будет, если заблокировать SilktideBot, а сайт — клиент платформы?
Перестанут поступать регулярные отчёты о доступности и других проверках, на которые полагается команда, поэтому перед блокировкой стоит уточнить у коллег.
Как отличить разовую стороннюю проверку от своей подписки?
Смотреть на характер обхода — разовый полный аудит без повторов типичен для стороннего использования бесплатного сканера, а регулярные повторяющиеся проверки — для подписки владельца сайта.
#SilktideBot#Silktide#доступность сайта#WCAG#анализ логов#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота Silktide: легитимный прочие краулеры и сервисы
Боты·6 мин

Silktide в логах: скорее всего, ваш собственный аудит

Silktide — не безымянный «прочий сервис», а известная enterprise-платформа веб-governance, которую используют компании из Fortune 500, госорганы и вузы для проверки доступности, SEO и качества контента. Разбираемся, почему трафик от неё почти всегда означает, что кто-то из вашей же организации сознательно настроил аудит, и почему первый шаг здесь — не техническая диагностика, а простой вопрос команде.

Читать
Уникальная иллюстрация бота adbeat_bot: нежелательный рекламные и adtech-боты
Боты·6 мин

Adbeat_bot в логах: конкурентная разведка чужой рекламы

Разбираем adbeat_bot — краулер платной платформы Adbeat, которая отслеживает рекламные стратегии конкурентов для своих клиентов. Показываем, почему сайт попадает в её выборку просто из-за показа рекламы, как найти бота в access.log и настроить allow/deny.

Читать
Уникальная иллюстрация бота admantx: нежелательный прочие краулеры и сервисы
Боты·6 мин

Admantx в логах: контекстная реклама Integral Ad Science

Разбираем admantx (ADmantX) — технологию NLP-анализа контента для контекстной рекламы и brand safety, которая теперь принадлежит Integral Ad Science. Показываем задокументированный случай спуфинга под похожим именем, как найти бота в access.log и настроить allow/deny.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil