Боты4 мин чтения·24 августа 2026 г.

SlickBot: индексатор поиска и рекомендаций, не угроза

SlickBot в базах маркируют «нежелательный», хотя это краулер сервиса встроенного поиска и рекомендаций контента Slickstream. Разбираемся, почему блокировка может испортить пользовательский опыт на самом сайте.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота SlickBot: нежелательный прочие краулеры и сервисы

Строка slickbot в базах маркирована «нежелательный» с рекомендацией сразу блокировать. На деле SlickBot — технический краулер конкретного сервиса Slickstream, который помогает издателям и владельцам сайтов встраивать поиск, рекомендации контента и персонализацию прямо на их страницах. Если он заходит, почти всегда это значит, что сайт сам подключён к этому сервису.

Что такое SlickBot на самом деле

Slickstream — компания, разрабатывающая инструменты вовлечения посетителей для сайтов: встроенный поиск, рекомендации похожего контента и персонализацию на основе поведения пользователя. SlickBot индексирует сайт клиента, чтобы эти виджеты работали корректно, — задача не отличается от того, зачем Google индексирует страницы, только результат используется не в поисковой выдаче, а прямо на самом сайте.

Параметр Значение
Название SlickBot
User-Agent / паттерн slickbot
Оператор Slickstream — сервис встраиваемого поиска, рекомендаций и персонализации для сайтов
Категория TrafficVeil Индексирующий краулер для собственных виджетов сайта клиента (не «прочий нежелательный сервис»)
Что делает на сайте Индексирует страницы, чтобы обеспечить работу поиска, рекомендаций и персонализации на самом сайте
Список IP ❌ Публичного списка нет; проверяйте ASN и поведение
robots.txt Соблюдает точечные директивы под своим именем
Пометка TrafficVeil Легитимный — визит почти всегда означает, что сайт сам подключён к сервису

Зачем SlickBot приходит на сайт

Причина визита практически всегда одна: владелец сайта подключил Slickstream, чтобы добавить посетителям встроенный поиск или блок рекомендаций контента. Бот регулярно обходит сайт, чтобы индекс, на основе которого строятся эти виджеты, оставался актуальным при появлении новых материалов.

Почему пометка «нежелательный» здесь ошибочна

Если сайт подключён к Slickstream, визиты SlickBot напрямую влияют на качество пользовательского опыта — от них зависит точность встроенного поиска и релевантность рекомендаций для читателей. Блокировка в этом случае не защищает от постороннего сбора данных, а портит уже настроенную функциональность сайта.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

Как найти SlickBot в логах

# Базовый поиск
grep -i "slickbot" /var/log/nginx/access.log

# Какие разделы индексирует бот
grep -i "slickbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "slickbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверяйте IP через ASN — публичного списка адресов компания не публикует:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (стандартный вариант при подключении сервиса)
User-agent: slickbot
Allow: /

# Закрыть только служебные разделы
User-agent: slickbot
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: прежде чем переключать slickbot в «запретить», уточните у команды, отвечающей за сайт, не используется ли Slickstream для поиска или рекомендаций, — это может быть настроено маркетингом или продуктовой командой без участия разработки. Если подключение подтверждено, оставляйте allow без rate-limit: неполный индекс напрямую ухудшит виджеты, которые видят посетители.

Что в итоге делать со SlickBot

Ситуация Действие
Сайт подключён к Slickstream (поиск, рекомендации, персонализация) Allow без rate-limit
Подключение не подтверждено, но нагрузка небольшая Уточнить у маркетинг/продуктовой команды, прежде чем блокировать
Сервис точно не используется Точечный Disallow / запрет в TrafficVeil
Подозрение на спуфинг UA Сверять по ASN, а не доверять строке UA
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Правда ли, что SlickBot нужно блокировать по умолчанию как нежелательный трафик?
Нет, это краулер конкретного сервиса Slickstream, который индексирует сайт клиента ради встроенного поиска и рекомендаций — блокировка без проверки может испортить эту функциональность.
Зачем этот бот вообще индексирует весь сайт?
Чтобы виджеты поиска и рекомендаций, встроенные на сайте, показывали посетителям точные и актуальные результаты.
Что теряет сайт при блокировке SlickBot, если он подключён к Slickstream?
Не «лишний трафик», а качество встроенного поиска и релевантность рекомендаций для реальных посетителей — индекс перестанет обновляться.
Кто в компании обычно отвечает за подключение Slickstream, если это неочевидно технической команде?
Часто маркетинг или продуктовая команда, поэтому перед блокировкой стоит уточнить именно у них.
Чем SlickBot отличается от slickstream в логах?
Это один и тот же бот — slickbot и slickstream оба относятся к техническому краулеру сервиса Slickstream, просто могут встречаться в разных вариантах записи UA.
Публикует ли Slickstream официальный список IP своего краулера?
Нет, открытого списка компания не публикует, поэтому для верификации важнее проверка по ASN, чем доверие одной строке UA.
#SlickBot#Slickstream#боты#краулеры#антибот#внутренний поиск#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота Cludo: легитимный прочие краулеры и сервисы
Боты·4 мин

Cludo в логах: индексатор внутреннего поиска сайта

Cludo в логах иногда путают с проверкой виджета, хотя это краулер сервиса внутреннего поиска сайта. Разбираемся, почему блокировка может сломать поиск для ваших же посетителей.

Читать
Уникальная иллюстрация бота easybill-ImportManager: легитимный прочие краулеры и сервисы
Боты·4 мин

Easybill-ImportManager: синхронизация счетов, не угроза

easybill-ImportManager в логах описывают как безымянную инфраструктуру, хотя это инструмент немецкого сервиса выставления счетов easybill для синхронизации заказов. Разбираемся, почему блокировка может сорвать бухгалтерский процесс магазина.

Читать
Уникальная иллюстрация бота EchoboxBot: нежелательный прочие краулеры и сервисы
Боты·4 мин

EchoboxBot в логах: автопостинг издания, а не угроза

echoboxbot в базах часто помечен как нежелательный, хотя это бот сервиса Echobox для автопостинга статей в соцсети — обычно означает, что сайт сам подключён к платформе. Разбираемся, почему блокировка может сорвать публикации редакции.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil