YouBot: краулер You.com с криптографической верификацией через Web Bot Auth

YouBot принадлежит You.com — поисковой системе, построенной вокруг AI-ответов и делающей акцент на приватности пользователя. По независимым обзорам краулер официально соблюдает robots.txt, а по данным Cloudflare Radar даже поддерживает современный криптографический протокол верификации запросов Web Bot Auth — публикует директорию ключей для проверки подписи HTTP-сообщений, аналогично тому, как это устроено у DuckAssistBot из этой серии.

Чем занимается You.com и зачем ей краулер

You.com — поисковая система, которая вместо привычного списка синих ссылок делает акцент на AI-синтезированных ответах и разговорном формате: пользователь получает не просто список результатов, а сформированный ответ с прямыми ссылками на источники внутри текста. Помимо основного поиска, платформа предлагает AI-чат, поиск по коду и интеграцию социального поиска. Именно YouBot строит индекс, который лежит в основе этих функций: он собирает публичный веб-контент, чтобы AI-ассистент You.com мог отвечать на вопросы пользователей и подкреплять ответы ссылками на реальные источники, оформленными как inline-цитирования прямо внутри текста ответа.

Параметры бота

Как YouBot соотносится с обучением моделей и позициями в других поисковиках

По независимым источникам, блокировка YouBot затрагивает только использование контента для AI-функций и обучающих аспектов, связанных именно с You.com, — она никак не влияет на позиции сайта в классической выдаче Google, Bing или Яндекса, поскольку это отдельная, не связанная между собой экосистема индексации. При этом стоит держать в уме общее правило для всей категории AI-поисковых краулеров: блокировка одного конкретного бота не убирает сайт из всех AI-продуктов сразу — если важна полная невидимость для AI-поиска в целом, нужно отдельно управлять каждым краулером соответствующей платформы.

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов youbot на подключённых доменах составил порядка 4 тысяч. Это умеренный объём, характерный для AI-поисковых краулеров этого масштаба, не создающий заметной фоновой нагрузки для большинства сайтов.

Как найти бота в логах

grep -i "YouBot" /var/log/nginx/access.log

Для более строгой верификации, помимо совпадения строки UA, можно сверить подпись запроса через опубликованную директорию ключей Web Bot Auth — это надёжнее, чем полагаться на одну лишь строку заголовка, которую в принципе может подделать любой скрипт.

Стоит ли блокировать

• если для сайта важна видимость в AI-поиске You.com с цитированием и потенциальным реферальным трафиком от пользователей платформы — бота стоит разрешить;
• если приоритет — полностью исключить использование контента в AI-продуктах You.com — блокировка не затрагивает позиции сайта в классических поисковых системах;
• полное исключение из всей AI-поисковой экосистемы требует отдельного управления каждым краулером соответствующей платформы, а не одним общим правилом.

Как настроить robots.txt

Явное разрешение:

User-agent: YouBot
Allow: /

Полный запрет:

User-agent: YouBot
Disallow: /

Ограничение скорости вместо полного запрета при заметной нагрузке:

User-agent: YouBot
Crawl-delay: 10

Для гарантированного результата на уровне сервера:

if ($http_user_agent ~* "YouBot") {
    return 403;
}