Строка slickbot в базах маркирована «нежелательный» с рекомендацией сразу блокировать. На деле SlickBot — технический краулер конкретного сервиса Slickstream, который помогает издателям и владельцам сайтов встраивать поиск, рекомендации контента и персонализацию прямо на их страницах. Если он заходит, почти всегда это значит, что сайт сам подключён к этому сервису.
Что такое SlickBot на самом деле
Slickstream — компания, разрабатывающая инструменты вовлечения посетителей для сайтов: встроенный поиск, рекомендации похожего контента и персонализацию на основе поведения пользователя. SlickBot индексирует сайт клиента, чтобы эти виджеты работали корректно, — задача не отличается от того, зачем Google индексирует страницы, только результат используется не в поисковой выдаче, а прямо на самом сайте.
| Параметр | Значение |
| Название | SlickBot |
| User-Agent / паттерн | slickbot |
| Оператор | Slickstream — сервис встраиваемого поиска, рекомендаций и персонализации для сайтов |
| Категория TrafficVeil | Индексирующий краулер для собственных виджетов сайта клиента (не «прочий нежелательный сервис») |
| Что делает на сайте | Индексирует страницы, чтобы обеспечить работу поиска, рекомендаций и персонализации на самом сайте |
| Список IP | ❌ Публичного списка нет; проверяйте ASN и поведение |
| robots.txt | Соблюдает точечные директивы под своим именем |
| Пометка TrafficVeil | Легитимный — визит почти всегда означает, что сайт сам подключён к сервису |
Зачем SlickBot приходит на сайт
Причина визита практически всегда одна: владелец сайта подключил Slickstream, чтобы добавить посетителям встроенный поиск или блок рекомендаций контента. Бот регулярно обходит сайт, чтобы индекс, на основе которого строятся эти виджеты, оставался актуальным при появлении новых материалов.
Почему пометка «нежелательный» здесь ошибочна
Если сайт подключён к Slickstream, визиты SlickBot напрямую влияют на качество пользовательского опыта — от них зависит точность встроенного поиска и релевантность рекомендаций для читателей. Блокировка в этом случае не защищает от постороннего сбора данных, а портит уже настроенную функциональность сайта.
Как найти SlickBot в логах
# Базовый поиск
grep -i "slickbot" /var/log/nginx/access.log
# Какие разделы индексирует бот
grep -i "slickbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "slickbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | headДля верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"robots.txt и настройка через TrafficVeil
# Разрешить (стандартный вариант при подключении сервиса)
User-agent: slickbot
Allow: /
# Закрыть только служебные разделы
User-agent: slickbot
Disallow: /admin/
Disallow: /account/
Allow: /TrafficVeil: прежде чем переключать slickbot в «запретить», уточните у команды, отвечающей за сайт, не используется ли Slickstream для поиска или рекомендаций, — это может быть настроено маркетингом или продуктовой командой без участия разработки. Если подключение подтверждено, оставляйте allow без rate-limit: неполный индекс напрямую ухудшит виджеты, которые видят посетители.
Что в итоге делать со SlickBot
| Ситуация | Действие |
| Сайт подключён к Slickstream (поиск, рекомендации, персонализация) | Allow без rate-limit |
| Подключение не подтверждено, но нагрузка небольшая | Уточнить у маркетинг/продуктовой команды, прежде чем блокировать |
| Сервис точно не используется | Точечный Disallow / запрет в TrafficVeil |
| Подозрение на спуфинг UA | Сверять по ASN, а не доверять строке UA |