В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а SilktideBot с User-Agent silktidebot. Оператор здесь реальный и известный: Silktide Ltd — платформа веб-governance, которую использует, по собственному заявлению компании, множество организаций уровня Fortune 500, а также университеты (например, University of Maryland применяет Silktide для собственной программы соответствия доступности).
1. Что такое SilktideBot
Silktide — не узкоспециализированный SEO-краулер, а комплексная платформа: автоматизированное и ручное тестирование доступности сайта по WCAG 2.1/2.2, соответствие ADA, EAA, AODA и другим стандартам, плюс проверки SEO, качества контента и приватности данных. Технически платформа не просто скачивает HTML — по описанию самой компании, она «симулирует настоящий браузер» и рендерит страницу так же, как её увидел бы пользователь, включая проверку сложных пользовательских сценариев (user journey testing). Отдельная важная деталь: у Silktide есть публичный бесплатный сервис проверки доступности (free accessibility scan) — то есть запустить разовое сканирование конкретного URL может кто угодно, не обязательно владелец сайта или его существующий клиент.
| Название | SilktideBot |
| User-Agent / паттерн | silktidebot |
| Оператор | Silktide Ltd — платформа веб-governance (доступность, SEO, качество контента, приватность), используется Fortune 500 и университетами |
| Роль | Сканирует страницы для проверки доступности (WCAG/ADA/EAA/AODA), SEO, качества контента и приватности данных; полноценно рендерит страницу, а не просто скачивает HTML |
| Документация / ориентир | silktide.com — сайт компании с описанием технологии сканирования; first-party страницы конкретно про бота для вебмастеров не найдено |
| Список IP | ❌ Официального списка IP не найдено — проверяйте по UA и поведению |
| robots.txt | Публичных данных о строгом соблюдении не найдено |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы |
2. Зачем SilktideBot приходит на сайт
Визит может означать одно из двух принципиально разных сценариев. Первый — сайт (или его владелец) является платным клиентом Silktide, и платформа регулярно проверяет его на соответствие стандартам доступности и другим критериям как часть подписки. Второй, менее очевидный — кто-то посторонний (конкурент, журналист, исследователь, просто любопытный посетитель) воспользовался бесплатным публичным сервисом Silktide и запустил разовую проверку доступности именно этого URL, без всякого участия владельца сайта.
- Какие зоны чаще трогает: публичные URL, иногда API и статику — в рамках комплексного сканирования сайта;
- Что ищет: нарушения доступности (альтернативный текст изображений, контрастность, навигация с клавиатуры, совместимость со скринридерами), а также SEO- и контент-проблемы;
- Чем отличается от браузерного пользователя: нет нормальной пользовательской сессии, но за счёт полноценного рендеринга страница обрабатывается почти так же, как её видел бы реальный посетитель.
Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — SilktideBot. Прежде чем реагировать, стоит уточнить у команды, не подписан ли сайт на платформу Silktide сам — если нет, это мог быть кто-то посторонний, воспользовавшийся бесплатным сканером компании.
3. Нагрузка и риски именно для SilktideBot
Отдельной строки в публичной сводке top-bot TrafficVeil у silktidebot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Поскольку платформа делает полноценный рендеринг страниц (а не просто скачивает HTML), при большом сайте единичный полный аудит может создать заметный кратковременный всплеск нагрузки — по независимым отзывам пользователей, сканирование крупных сайтов (порядка 1000+ страниц) может занимать значительное время и генерировать соответствующий объём запросов.
Отдельный репутационный нюанс: Silktide ведёт публичный «Silktide Index» — глобальный рейтинг доступности организаций. Если сайт попал в выборку для этого индекса, результат сканирования может стать публично видимым сравнительным показателем, а не остаться приватным отчётом только для владельца.
4. Как найти SilktideBot в логах
Не ищите «просто ботов» — ищите конкретный токен silktidebot и рядом смотрите соседей по семейству.
# Базовый поиск
grep -i "silktidebot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — проверьте, разовый это всплеск или регулярное сканирование
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "silktidebot|bot" /var/log/nginx/access.log | wc -lВерификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + характер обхода (разовый полный аудит сайта против регулярных повторяющихся проверок — первое типично для разового стороннего сканирования через бесплатный сервис, второе — для подписки самого владельца).
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для SilktideBot
# Жёсткий запрет
User-agent: silktidebot
Disallow: /
# Разрешить всё
User-agent: silktidebot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: silktidebot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: ставьте Disallow или 403 для silktidebot, если пользы нет. Если сайт сам является клиентом Silktide и полагается на регулярные отчёты о доступности, полная блокировка сломает эту функцию — прежде чем менять правила, уточните у команды.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "silktidebot") {
return 403;
}
limit_req_zone $binary_remote_addr zone=silktidebot:10m rate=10r/m;
location / {
if ($http_user_agent ~* "silktidebot") {
limit_req zone=silktidebot burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} silktidebot [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите silktidebot в ботах домена или в /system/bots;
- Уточните у команды, не является ли сайт платным клиентом Silktide — если да, Allow нужен для сохранения регулярных отчётов о доступности;
- Если это разовый визит без связи с вашей подпиской — вероятно, кто-то воспользовался публичным бесплатным сканером компании, и это не повод для беспокойства сверх обычного разового краулинга;
- После изменения сверьте логи: хиты SilktideBot должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с SilktideBot
- Если пользы нет и сайт не подписан на Silktide — Disallow/403;
- Если сайт — клиент платформы и полагается на регулярные отчёты — Allow без ограничений;
- Если нагрузка мешает при разовом полном аудите крупного сайта — рассмотрите rate-limit, а не полный запрет, поскольку это, вероятно, разовое явление;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: если сайт не клиент Silktide — обычно ничего критичного не теряете; если клиент — перестанете получать регулярные отчёты о доступности и других проверках.
8. С кем не путать SilktideBot
| Бот / сосед | Кластер | UA | Комментарий |
| 360Spider | Прочие краулеры и сервисы | 360spider | нежелательный, другой оператор |
| A360-Search | Прочие краулеры и сервисы | a360-search | нежелательный |
| AASA-Bot | Прочие краулеры и сервисы | aasa-bot | нежелательный |
| ABEvalBot | Прочие краулеры и сервисы | abevalbot | нежелательный |
| ActiveComply | Прочие краулеры и сервисы | activecomply | нежелательный, мониторинг комплаенса |
9. Стратегия allow/deny для SilktideBot
| Ситуация | Действие |
| Сайт — платный клиент Silktide | Allow + закрыть /admin /cart /api |
| Сайт не подписан, визит разовый | Disallow допустим — вероятно, кто-то воспользовался бесплатным публичным сканером |
| Нужен доступ, но нагрузка от полного аудита мешает | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно, после уточнения у команды |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть на характер обхода — разовый полный аудит против регулярных проверок |