SilktideBot в логах: чья это проверка доступности

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а SilktideBot с User-Agent silktidebot. Оператор здесь реальный и известный: Silktide Ltd — платформа веб-governance, которую использует, по собственному заявлению компании, множество организаций уровня Fortune 500, а также университеты (например, University of Maryland применяет Silktide для собственной программы соответствия доступности).

1. Что такое SilktideBot

Silktide — не узкоспециализированный SEO-краулер, а комплексная платформа: автоматизированное и ручное тестирование доступности сайта по WCAG 2.1/2.2, соответствие ADA, EAA, AODA и другим стандартам, плюс проверки SEO, качества контента и приватности данных. Технически платформа не просто скачивает HTML — по описанию самой компании, она «симулирует настоящий браузер» и рендерит страницу так же, как её увидел бы пользователь, включая проверку сложных пользовательских сценариев (user journey testing). Отдельная важная деталь: у Silktide есть публичный бесплатный сервис проверки доступности (free accessibility scan) — то есть запустить разовое сканирование конкретного URL может кто угодно, не обязательно владелец сайта или его существующий клиент.

2. Зачем SilktideBot приходит на сайт

Визит может означать одно из двух принципиально разных сценариев. Первый — сайт (или его владелец) является платным клиентом Silktide, и платформа регулярно проверяет его на соответствие стандартам доступности и другим критериям как часть подписки. Второй, менее очевидный — кто-то посторонний (конкурент, журналист, исследователь, просто любопытный посетитель) воспользовался бесплатным публичным сервисом Silktide и запустил разовую проверку доступности именно этого URL, без всякого участия владельца сайта.

• Какие зоны чаще трогает: публичные URL, иногда API и статику — в рамках комплексного сканирования сайта;
• Что ищет: нарушения доступности (альтернативный текст изображений, контрастность, навигация с клавиатуры, совместимость со скринридерами), а также SEO- и контент-проблемы;
• Чем отличается от браузерного пользователя: нет нормальной пользовательской сессии, но за счёт полноценного рендеринга страница обрабатывается почти так же, как её видел бы реальный посетитель.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — SilktideBot. Прежде чем реагировать, стоит уточнить у команды, не подписан ли сайт на платформу Silktide сам — если нет, это мог быть кто-то посторонний, воспользовавшийся бесплатным сканером компании.

3. Нагрузка и риски именно для SilktideBot

Отдельной строки в публичной сводке top-bot TrafficVeil у silktidebot может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Поскольку платформа делает полноценный рендеринг страниц (а не просто скачивает HTML), при большом сайте единичный полный аудит может создать заметный кратковременный всплеск нагрузки — по независимым отзывам пользователей, сканирование крупных сайтов (порядка 1000+ страниц) может занимать значительное время и генерировать соответствующий объём запросов.

Отдельный репутационный нюанс: Silktide ведёт публичный «Silktide Index» — глобальный рейтинг доступности организаций. Если сайт попал в выборку для этого индекса, результат сканирования может стать публично видимым сравнительным показателем, а не остаться приватным отчётом только для владельца.

4. Как найти SilktideBot в логах

Не ищите «просто ботов» — ищите конкретный токен silktidebot и рядом смотрите соседей по семейству.

# Базовый поиск
grep -i "silktidebot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — проверьте, разовый это всплеск или регулярное сканирование
grep -i "silktidebot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "silktidebot|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + характер обхода (разовый полный аудит сайта против регулярных повторяющихся проверок — первое типично для разового стороннего сканирования через бесплатный сервис, второе — для подписки самого владельца).

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для SilktideBot

# Жёсткий запрет
User-agent: silktidebot
Disallow: /

# Разрешить всё
User-agent: silktidebot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: silktidebot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для silktidebot, если пользы нет. Если сайт сам является клиентом Silktide и полагается на регулярные отчёты о доступности, полная блокировка сломает эту функцию — прежде чем менять правила, уточните у команды.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "silktidebot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=silktidebot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "silktidebot") {
        limit_req zone=silktidebot burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} silktidebot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите silktidebot в ботах домена или в /system/bots;
• Уточните у команды, не является ли сайт платным клиентом Silktide — если да, Allow нужен для сохранения регулярных отчётов о доступности;
• Если это разовый визит без связи с вашей подпиской — вероятно, кто-то воспользовался публичным бесплатным сканером компании, и это не повод для беспокойства сверх обычного разового краулинга;
• После изменения сверьте логи: хиты SilktideBot должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с SilktideBot

• Если пользы нет и сайт не подписан на Silktide — Disallow/403;
• Если сайт — клиент платформы и полагается на регулярные отчёты — Allow без ограничений;
• Если нагрузка мешает при разовом полном аудите крупного сайта — рассмотрите rate-limit, а не полный запрет, поскольку это, вероятно, разовое явление;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: если сайт не клиент Silktide — обычно ничего критичного не теряете; если клиент — перестанете получать регулярные отчёты о доступности и других проверках.

8. С кем не путать SilktideBot

9. Стратегия allow/deny для SilktideBot