DuckDuckBot скромнее, чем кажется — большая часть выдачи от Bing

DuckDuckBot — поисковый робот DuckDuckGo для построения индекса приватного поиска без профилирования пользователей. Оператор: DuckDuckGo. Ниже — факты из публичной документации и практики верификации: полный UA, IP/ASN, robots.txt, с кем не путать и как настроить правила так, чтобы не отрезать соседний полезный агент. Важный нюанс, о котором редко пишут: DuckDuckGo в основном берёт результаты поиска у партнёров вроде Bing, а не строит полностью независимый индекс силами одного DuckDuckBot. Прямая роль этого краулера скромнее, чем можно подумать, — в первую очередь это точечные задачи вроде получения favicon и дополнения уже существующих результатов, а не масштабный самостоятельный обход всего веба.

Что такое DuckDuckBot

Реальный скепсис вебмастеров по поводу IP

В открытом обсуждении на форуме вебмастеров один из опытных участников описывал случай, когда запросы, представляющиеся DuckDuckBot, не совпадали с официально опубликованным списком IP того времени — источник прямо усомнился, делает ли бот вообще что-то заметное сверх сбора favicon, учитывая скромное количество реальных запросов robots.txt за длительный период наблюдения. Это не повод считать DuckDuckBot скомпрометированным, но хороший аргумент в пользу того, чтобы не полагаться только на строку UA — сверяйте IP с актуальным JSON, а не доверяйте свежести списка бесконечно.

Как работает и зачем приходит

Для видимости в DDG — Allow; IP сверять по JSON. Учитывая ограниченный объём прямого краулинга, не ожидайте от DuckDuckBot такой же интенсивности обхода, как у Googlebot или YandexBot, — небольшой, но стабильный объём точечных запросов (в том числе favicon) — нормальное поведение для этого бота.

Нагрузка на сервер

По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) duckduckbot: 132 517 запросов (март 8 003, апрель 30 509, май 78 448, июнь 15 557). Перед жёсткими правилами сверьте июль–август в аналитике TrafficVeil. Смотрите не только RPS, но и path-паттерн: плотный обход каталога без сессий — повод для rate-limit/deny; точечные хиты под favicon/превью — другая, ожидаемая для этого бота политика.

Обнаружение в логах и IP

grep -i "duckduckbot" /var/log/nginx/access.log
grep -i "duckduckbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
grep -i "duckduckbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
# Актуальные IP (официальный JSON)
curl -s "https://duckduckgo.com/duckduckbot.json" | head

Важно: официальный JSON с IP есть, плюс отдельный DuckAssistBot: duckduckgo.com/duckassistbot.json. User-Agent легко подделать — для allow/deny связка UA + IP/ASN/официальный JSON надёжнее одной строки UA, тем более что в самой строке UA указана нерабочая ссылка на справку.

robots.txt

User-agent: duckduckbot
Disallow: /

User-agent: duckduckbot
Allow: /

User-agent: duckduckbot
Disallow: /admin/
Disallow: /cart/
Allow: /

Соблюдает robots.txt, но помните про задержку применения около 72 часов. Если в семействе есть «полезный» и «нежелательный» агент — делайте отдельные User-agent блоки и не режьте обоих одним ASN-баном.

Nginx / Apache / TrafficVeil

Nginx

if ($http_user_agent ~* "duckduckbot") {
    return 403;
}

Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} duckduckbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите duckduckbot в ботах домена или /system/bots
• Для видимости в DDG — Allow; IP сверять по JSON
• После изменения сверьте логи за 15–60 минут; но учитывайте, что для самой директивы robots.txt применение занимает до 72 часов

Рекомендации

• Для видимости в DDG — Allow; IP сверять по JSON
• Не полагайтесь только на robots.txt, если compliance неоднозначный или агент user-initiated
• Не баньте весь ASN оператора, если в семье есть нужный бот (превью/поиск)
• Обновляйте IP JSON (если есть) по cron — диапазоны меняются
• Сверяйте свежую статистику TrafficVeil, не только сводку март–июнь 2026
• При проблемах с opt-out пишите на crawling@duckduckgo.com, а не только меняйте robots.txt и ждите

С кем не путать

Стратегия