AppleBot и Applebot-Extended: чем директива отличается от краулера

AppleBot — индексация для Spotlight, Siri и search-фич Safari на устройствах Apple; собранные данные могут использоваться и для обучения foundation-моделей, но opt-out от этого делается через отдельный механизм — Applebot-Extended. Оператор: Apple. Ниже — факты из публичной документации и практики верификации: полный UA, IP/ASN, robots.txt, с кем не путать и как настроить правила так, чтобы не потерять видимость в экосистеме Apple. Робот Apple индексирует публичные страницы, разрешённые в robots.txt, для поисковых функций на устройствах Apple.

Что такое AppleBot

Как работает и зачем приходит

Задача Applebot — индексация контента для поисковых функций внутри экосистемы Apple: подсказки Spotlight, ответы Siri, результаты поиска Safari. По официальной формулировке Apple, разрешение Applebot в robots.txt позволяет содержимому сайта появляться в результатах поиска для пользователей Apple по всему миру в этих продуктах. Если нужен поиск Apple, но не хочется отдавать контент на обучение моделей — разрешайте Applebot и одновременно запрещайте Applebot-Extended. Полный Disallow для самого Applebot режет видимость во всей экосистеме Apple, а не только останавливает обучение ИИ.

Важный нюанс про Applebot-Extended, который часто путают

Applebot-Extended — не отдельный краулер, а чистая директива. Он в принципе не выполняет HTTP-запросов и физически никогда не появится в access.log под своим именем, сколько бы вы его там ни искали. Это флаг, который определяет, может ли Apple использовать данные, уже собранные обычным Applebot, для обучения foundation-моделей, питающих Apple Intelligence. Практическое следствие: запрет Applebot-Extended в robots.txt не влияет на присутствие сайта в Spotlight, Siri или Safari — Apple прямо подтверждает, что страницы, запретившие Applebot-Extended, продолжают появляться в поисковых результатах. Для сравнения: у Google аналогичное разделение устроено не так чисто. Чтобы гарантированно исключить контент из ИИ-функций поиска Google, иногда недостаточно заблокировать только AI-специфичный токен — приходится блокировать сам Googlebot целиком, что одновременно убирает сайт и из обычной поисковой выдачи. Модель Apple в этом смысле даёт более точечный контроль.

Нагрузка на сервер

По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) applebot: 5 667 390 запросов суммарно (март 725 058, апрель 1 527 943, май 2 481 570, июнь 932 819). Перед жёсткими правилами сверьте июль–август в аналитике TrafficVeil. Смотрите не только RPS, но и path-паттерн: плотный обход каталога без сессий — повод для rate-limit/deny; точечные хиты — другая политика, требующая более аккуратного решения.

Обнаружение в логах и IP

grep -i "applebot" /var/log/nginx/access.log
grep -i "applebot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
grep -i "applebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

# Актуальные IP (официальный JSON)
curl -s "https://search.developer.apple.com/applebot.json" | head

Важно: есть официальный JSON с диапазонами CIDR, плюс reverse DNS на applebot.apple.com. User-Agent легко подделать — для решения allow/deny связка UA + IP/ASN/официальный JSON надёжнее одной строки UA.

robots.txt

User-agent: applebot
Disallow: /

User-agent: applebot
Allow: /

User-agent: applebot
Disallow: /admin/
Disallow: /cart/
Allow: /

Applebot соблюдает robots.txt официально. Если правил конкретно для Applebot нет, но есть для Googlebot — Applebot может следовать директивам Googlebot. Напомним: Applebot-Extended не краулит страницы вообще — это флаг использования уже собранных данных для AI-тренировки, а не отдельный User-agent с собственным трафиком.

Nginx / Apache / TrafficVeil

Nginx

if ($http_user_agent ~* "applebot") {
    return 403;
}

Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} applebot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите applebot в ботах домена или /system/bots
• Нужен поиск Apple, но не обучение моделей — Allow Applebot + Disallow Applebot-Extended в robots.txt (сам TrafficVeil этот флаг не увидит в трафике, поскольку запросов от него не будет)
• Полный Disallow Applebot режет видимость во всей экосистеме Apple
• После изменения сверьте логи за 15–60 минут

Рекомендации

• Нужен поиск Apple, но не обучение моделей — Allow Applebot + Disallow Applebot-Extended; полный Disallow Applebot режет видимость в экосистеме Apple целиком
• Не полагайтесь только на robots.txt, если compliance неоднозначный для других агентов рядом — но конкретно для Applebot заявленное соблюдение подтверждено официально
• Не баньте весь ASN оператора, если в семье есть нужный сайту бот
• Обновляйте IP JSON по cron — диапазоны меняются
• Сверяйте свежую статистику TrafficVeil, не только сводку март–июнь 2026

С кем не путать

Стратегия