В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а SilktideBot с User-Agent silktidebot. Оператор здесь реальный и известный: Silktide Ltd — платформа веб-governance, которую использует, по собственному заявлению компании, множество организаций уровня Fortune 500, а также университеты (например, University of Maryland применяет Silktide для собственной программы соответствия доступности).
1. Что такое SilktideBot
Silktide — не узкоспециализированный SEO-краулер, а комплексная платформа: автоматизированное и ручное тестирование доступности сайта по WCAG 2.1/2.2, соответствие ADA, EAA, AODA и другим стандартам, плюс проверки SEO, качества контента и приватности данных. Технически платформа не просто скачивает HTML — по описанию самой компании, она «симулирует настоящий браузер» и рендерит страницу так же, как её увидел бы пользователь, включая проверку сложных пользовательских сценариев (user journey testing). Отдельная важная деталь: у Silktide есть публичный бесплатный сервис проверки доступности (free accessibility scan) — то есть запустить разовое сканирование конкретного URL может кто угодно, не обязательно владелец сайта или его существующий клиент.
| Название | SilktideBot |
| User-Agent / паттерн | silktidebot |
| Оператор | Silktide Ltd — платформа веб-governance (доступность, SEO, качество контента, приватность), используется Fortune 500 и университетами |
| Роль | Сканирует страницы для проверки доступности (WCAG/ADA/EAA/AODA), SEO, качества контента и приватности данных; полноценно рендерит страницу, а не просто скачивает HTML |
| Документация / ориентир | silktide.com — сайт компании с описанием технологии сканирования; first-party страницы конкретно про бота для вебмастеров не найдено |
| Список IP | ❌ Официального списка IP не найдено — проверяйте по UA и поведению |
| robots.txt | Публичных данных о строгом соблюдении не найдено |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
2. Зачем SilktideBot приходит на сайт
Визит может означать одно из двух принципиально разных сценариев. Первый — сайт (или его владелец) является платным клиентом Silktide, и платформа регулярно проверяет его на соответствие стандартам доступности и другим критериям как часть подписки. Второй, менее очевидный — кто-то посторонний (конкурент, журналист, исследователь, просто любопытный посетитель) воспользовался бесплатным публичным сервисом Silktide и запустил разовую проверку доступности именно этого URL, без всякого участия владельца сайта.
- Какие зоны чаще трогает: публичные URL, иногда API и статику — в рамках комплексного сканирования сайта;
- Что ищет: нарушения доступности (альтернативный текст изображений, контрастность, навигация с клавиатуры, совместимость со скринридерами), а также SEO- и контент-проблемы;
- Чем отличается от браузерного пользователя: нет нормальной пользовательской сессии, но за счёт полноценного рендеринга страница обрабатывается почти так же, как её видел бы реальный посетитель.
Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — SilktideBot. Прежде чем реагировать, стоит уточнить у команды, не подписан ли сайт на платформу Silktide сам — если нет, это мог быть кто-то посторонний, воспользовавшийся бесплатным сканером компании.
3. Нагрузка и риски именно для SilktideBot
Отдельной строки в публичной сводке top-bot TrafficVeil у silktidebot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Поскольку платформа делает полноценный рендеринг страниц (а не просто скачивает HTML), при большом сайте единичный полный аудит может создать заметный кратковременный всплеск нагрузки — по независимым отзывам пользователей, сканирование крупных сайтов (порядка 1000+ страниц) может занимать значительное время и генерировать соответствующий объём запросов.
Отдельный репутационный нюанс: Silktide ведёт публичный «Silktide Index» — глобальный рейтинг доступности организаций. Если сайт попал в выборку для этого индекса, результат сканирования может стать публично видимым сравнительным показателем, а не остаться приватным отчётом только для владельца.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти SilktideBot в логах
Не ищите «просто ботов» — ищите конкретный токен silktidebot и рядом смотрите соседей по семейству.
# Базовый поиск
grep -i "silktidebot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — проверьте, разовый это всплеск или регулярное сканирование
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "silktidebot|bot" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + характер обхода (разовый полный аудит сайта против регулярных повторяющихся проверок — первое типично для разового стороннего сканирования через бесплатный сервис, второе — для подписки самого владельца).
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для SilktideBot
# Жёсткий запрет
User-agent: silktidebot
Disallow: /
# Разрешить всё
User-agent: silktidebot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: silktidebot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для silktidebot, если пользы нет. Если сайт сам является клиентом Silktide и полагается на регулярные отчёты о доступности, полная блокировка сломает эту функцию — прежде чем менять правила, уточните у команды.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "silktidebot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_9242e07260c3_key {
default "";
"~*silktidebot" $binary_remote_addr;
}
limit_req_zone $tv_ng_9242e07260c3_key zone=tv_ng_9242e07260c3:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_9242e07260c3 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} silktidebot [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите silktidebot в ботах домена или в /system/bots;
- Уточните у команды, не является ли сайт платным клиентом Silktide — если да, Allow нужен для сохранения регулярных отчётов о доступности;
- Если это разовый визит без связи с вашей подпиской — вероятно, кто-то воспользовался публичным бесплатным сканером компании, и это не повод для беспокойства сверх обычного разового краулинга;
- После изменения сверьте логи: хиты SilktideBot должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с SilktideBot
- Если пользы нет и сайт не подписан на Silktide — Disallow/403;
- Если сайт — клиент платформы и полагается на регулярные отчёты — Allow без ограничений;
- Если нагрузка мешает при разовом полном аудите крупного сайта — рассмотрите rate-limit, а не полный запрет, поскольку это, вероятно, разовое явление;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: если сайт не клиент Silktide — обычно ничего критичного не теряете; если клиент — перестанете получать регулярные отчёты о доступности и других проверках.
8. С кем не путать SilktideBot
| Бот / сосед | Кластер | UA | Комментарий |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный, другой оператор |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный, мониторинг комплаенса |
9. Стратегия allow/deny для SilktideBot
| Ситуация | Действие |
| Сайт — платный клиент Silktide | Allow + закрыть /admin /cart /api |
| Сайт не подписан, визит разовый | Disallow допустим — вероятно, кто-то воспользовался бесплатным публичным сканером |
| Нужен доступ, но нагрузка от полного аудита мешает | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно, после уточнения у команды |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть на характер обхода — разовый полный аудит против регулярных проверок |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
SilktideBot — это обязательно моя собственная подписка на сервис?
Что именно проверяет этот бот на странице?
Почему сканирование иногда создаёт заметную нагрузку?
Может ли результат проверки моего сайта стать публичным?
Что будет, если заблокировать SilktideBot, а сайт — клиент платформы?
Как отличить разовую стороннюю проверку от своей подписки?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.