Строка slickstream в логах обычно списывают на безымянную «инфраструктуру платформы». На деле это индексирующий краулер конкретного сервиса — Slickstream, который помогает издателям и владельцам сайтов встраивать поиск, рекомендации контента и персонализацию прямо на их страницах. Если он заходит, почти всегда это значит, что сайт сам подключён к этому сервису.
Что такое slickstream на самом деле
Slickstream — компания, разрабатывающая инструменты вовлечения посетителей для сайтов: встроенный поиск, рекомендации похожего контента и персонализацию на основе поведения пользователя. Технический бот сервиса (SlickBot) индексирует сайт клиента, чтобы эти виджеты работали корректно — то есть его задача не отличается от того, зачем Google индексирует страницы, только результат используется не в поисковой выдаче, а прямо на самом сайте.
| Параметр | Значение |
| Название | slickstream (техническое имя бота — SlickBot) |
| User-Agent / паттерн | slickstream |
| Оператор | Slickstream — сервис встраиваемого поиска, рекомендаций и персонализации для сайтов |
| Категория TrafficVeil | Индексирующий краулер для собственных виджетов сайта клиента (не безымянная инфраструктура) |
| Что делает на сайте | Индексирует страницы, чтобы обеспечить работу поиска, рекомендаций и персонализации на самом сайте |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Соблюдает точечные директивы под своим именем |
| Пометка TrafficVeil | Легитимный — визит почти всегда означает, что сайт сам подключён к сервису |
Зачем slickstream приходит на сайт
Причина визита практически всегда одна: владелец сайта подключил Slickstream, чтобы добавить посетителям встроенный поиск или блок рекомендаций контента. Бот регулярно обходит сайт, чтобы индекс, на основе которого строятся эти виджеты, оставался актуальным при появлении новых материалов.
Почему это не «фоновый шум»
Если сайт подключён к Slickstream, визиты бота напрямую влияют на качество пользовательского опыта — от них зависит, насколько точным будет встроенный поиск и насколько релевантными окажутся рекомендации для читателей. Блокировка в этом случае не защищает от постороннего сбора данных, а портит уже настроенную функциональность сайта.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Как найти slickstream в логах
# Базовый поиск
grep -i "slickstream" /var/log/nginx/access.log
# Какие разделы индексирует бот
grep -i "slickstream" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "slickstream" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант при подключении сервиса)
User-agent: slickstream
Allow: /
# Закрыть только служебные разделы
User-agent: slickstream
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: прежде чем переключать slickstream в «запретить», уточните у команды, отвечающей за сайт, не используется ли Slickstream для поиска или рекомендаций, — это может быть настроено маркетингом или продуктовой командой без участия разработки. Если подключение подтверждено, оставляйте allow без rate-limit: неполный индекс напрямую ухудшит виджеты, которые видят посетители.
Что в итоге делать со slickstream
| Ситуация | Действие |
| Сайт подключён к Slickstream (поиск, рекомендации, персонализация) | Allow без rate-limit |
| Подключение не подтверждено, но нагрузка небольшая | Уточнить у маркетинг/продуктовой команды, прежде чем блокировать |
| Сервис точно не используется | Точечный Disallow / запрет в TrafficVeil |
| Подозрение на спуфинг UA | Сверять по ASN, а не доверять строке UA |
Частые вопросы
Правда ли, что slickstream — это безымянная служебная инфраструктура?
Зачем этот бот вообще индексирует весь сайт?
Что теряет сайт при блокировке slickstream, если он подключён к сервису?
Кто в компании обычно отвечает за подключение Slickstream, если это неочевидно технической команде?
Публикует ли Slickstream официальный список IP своего краулера?
С каким уже разобранным ботом логично сравнивать slickstream по назначению?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.