DuckAssistBot: официально не для обучения AI — и с криптографической верификацией запросов

DuckDuckGo прямо и недвусмысленно отвечает на вопрос, который чаще всего задают про этого бота: данные, которые собирает DuckAssistBot, никак не используются для обучения AI-моделей. Это отдельный, официально задокументированный краулер компании, который обслуживает конкретную функцию — AI-ответы (DuckAssist) внутри поиска DuckDuckGo, — и работает независимо от основного поискового индексатора DuckDuckBot.

Как устроена функция DuckAssist

Когда система DuckDuckGo определяет, что запрос пользователя можно закрыть кратким сводным ответом, а не только списком ссылок, в дело вступает DuckAssist — функция, которая генерирует такой ответ и явно указывает источники, на которые опирается. DuckAssistBot обходит страницы в реальном времени, по факту конкретного пользовательского запроса, а не заранее и не системно, — то есть по механике он ближе к точечным «фетчерам по запросу» вроде ChatGPT-User или Claude-User из этой серии, чем к постоянному индексатору. Каждый визит бота соответствует моменту, когда кто-то реально задал DuckDuckGo вопрос, который затрагивает контент конкретной страницы.

Параметры бота

Ключевая развилка: DuckAssistBot ≠ DuckDuckBot

Это та же логика разделения, что уже встречалась у краулеров OpenAI и Anthropic в этой серии: запрет DuckAssistBot убирает сайт как потенциальный источник AI-ответов DuckDuckGo, но никак не затрагивает появление сайта в обычной органической выдаче — за неё отвечает отдельный, независимо настраиваемый DuckDuckBot. По официальному заявлению компании, отказ от участия в DuckAssist не влияет ни на органическое ранжирование, ни на сам факт присутствия сайта в результатах поиска. Это открывает рабочую комбинацию: разрешить DuckDuckBot ради обычной поисковой видимости и одновременно запретить DuckAssistBot, если нежелательно, чтобы контент цитировался в кратких AI-сводках.

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов duckassistbot на подключённых доменах составил порядка 11 тысяч за март–июнь 2026 года (июнь — по 14 число). Поскольку каждый визит привязан к реальному пользовательскому запросу, а не к фоновому расписанию, объём трафика от этого бота на конкретном сайте прямо зависит от того, насколько часто пользователи DuckDuckGo задают вопросы, на которые может ответить именно контент этого сайта, — от почти нулевой активности до заметных, но не постоянных всплесков.

Как найти бота в логах и проверить подлинность

grep -i "DuckAssistBot" /var/log/nginx/access.log

Сверка с официальным списком IP:

curl -s https://duckduckgo.com/duckassistbot.json

Поскольку строку User-Agent в принципе может подделать любой сторонний скрипт, окончательное решение по спорным запросам должно опираться на совпадение IP с этим списком, а не только на текст заголовка.

Стоит ли блокировать

Решение зависит от того, что важнее для конкретного сайта — присутствие в кратких AI-сводках DuckDuckGo или полный контроль над тем, как и где цитируется контент:

• если для сайта важна видимость в поиске DuckDuckGo, ориентированном на приватность аудитории, но нежелательно, чтобы контент напрямую суммировался в AI-ответах, — разумная комбинация: Allow для DuckDuckBot, Disallow для DuckAssistBot;
• если цитирование с указанием источника в AI-ответах, наоборот, желаемый канал видимости (например, для информационного или справочного контента) — оба бота стоит оставить разрешёнными;
• полный запрет обоих ботов уместен только если присутствие в экосистеме DuckDuckGo в целом не приоритетно для сайта.

Как настроить robots.txt и сервер

Раздельные правила для двух ботов — рабочая схема для большинства сценариев:

User-agent: DuckDuckBot
Allow: /

User-agent: DuckAssistBot
Disallow: /

Полный запрет для DuckAssistBot с дублированием на уровне сервера, если нужен гарантированный результат раньше типового 72-часового окна применения правила:

if ($http_user_agent ~* "DuckAssistBot") {
    return 403;
}