Боты6 мин чтения·23 августа 2026 г.·обновлено 19 ноября 2026 г.

Amazon Kendra: возможно, ваш корпоративный поиск

Amazon Kendra — реальный сервис корпоративного поиска AWS, и его коннектор Web Crawler обходит только те конкретные URL, которые явно указал клиент AWS при настройке источника данных — то есть это не свободный обход, а целевая индексация по чьему-то заданию. Разбираемся, почему первый шаг здесь — проверить, не настроен ли на вашем сайте (или у партнёра) такой поисковый индекс, прежде чем блокировать бота как постороннего.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота Amazon Kendra: легитимный прочие краулеры и сервисы

Amazon Kendra — снова случай из серии «это, вероятно, чей-то настроенный инструмент», как уже разбиралось с MainWP, Silktide и ActiveComply, только здесь это конкретный компонент AWS: коннектор Web Crawler сервиса корпоративного поиска Amazon Kendra. Он не бродит по вебу самостоятельно — его запускает конкретный клиент AWS, который явно указал ваш сайт как источник данных для своего поискового индекса.

1. Что такое Amazon Kendra на самом деле

Amazon Kendra — «интеллектуальный» сервис корпоративного поиска на базе машинного обучения от AWS: он извлекает точные ответы из документов организации с указанием источника и уровня уверенности, а не просто выдаёт список ссылок по ключевым словам. Чтобы наполнить поисковый индекс, Kendra поддерживает более 14 коннекторов источников данных — Amazon S3, SharePoint, Confluence, Salesforce, Jira и другие — и один из них называется Web Crawler.

Ключевой момент: коннектор Web Crawler не обходит интернет произвольно. Клиент AWS сам создаёт индекс Kendra, добавляет источник данных типа «Web Crawler», указывает конкретные seed-URL или sitemap для обхода, настраивает глубину обхода, максимальное число ссылок на странице и лимиты троттлинга. Обход при этом ограничен только HTTPS-сайтами — публичными или внутренними (интранет) сайтами организации, к которым у неё есть право доступа.

Параметр Значение
Название Amazon Kendra (коннектор Web Crawler)
Оператор Amazon (AWS) — официально задокументированный сервис корпоративного поиска, конкретную конфигурацию обхода задаёт клиент AWS
Роль Индексация страниц конкретных сайтов, явно указанных клиентом AWS, для построения его собственного корпоративного поискового индекса
User-Agent / паттерн amazon-kendra
Кто обычно инициирует Конкретный клиент AWS, настроивший индекс Kendra и добавивший ваш сайт как seed-URL или sitemap источника Web Crawler
Параметры обхода Полностью настраиваются клиентом: диапазон обхода, глубина, ограничение ссылок на странице, троттлинг — версии коннектора v1.0 и v2.0 имеют разный набор поддерживаемых функций
Ограничение по протоколу Только HTTPS-сайты — публичные или внутренние (интранет) с соответствующим правом доступа
robots.txt Прямых данных о гарантированном соблюдении не найдено
Пометка TrafficVeil Легитимный / Прочие краулеры и сервисы

2. Зачем Amazon Kendra приходит на сайт

  • организация (возможно, ваша собственная) построила корпоративный поиск на базе Kendra и явно включила ваш сайт как источник данных — например, для внутренней базы знаний, объединяющей документацию, вендорские сайты или отраслевые ресурсы;
  • обход ограничен URL, которые клиент указал как seed или через sitemap — не системный обход всего интернета;
  • частота и глубина обхода определяются настройками синхронизации (sync settings), которые задал администратор конкретного индекса Kendra.

Типичный кейс: сайт регулярно посещается Amazon Kendra в рамках заданного клиентом расписания синхронизации данных — прежде чем реагировать как на нежелательный трафик, стоит выяснить, не настроен ли на вашей же стороне (или стороне партнёра/клиента) такой индекс, включающий ваш сайт как источник.

3. Нагрузка и риски

Если это ваша собственная корпоративная поисковая инфраструктура — прямая польза очевидна: без индексации сайт не будет находиться через внутренний поиск компании. Блокировка в этом случае вредит не постороннему боту, а собственному корпоративному поиску.

Если сайт точно не связан ни с одним клиентом AWS, использующим Kendra с настроенным на него источником — прямой пользы, как правило, нет, и применима обычная логика «нежелательный, если пользы нет». Поскольку обход по конструкции сервиса ограничен явно указанными URL, а не свободным блужданием по сайту, нагрузка обычно предсказуема и ограничена конкретным набором страниц.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти Amazon Kendra в логах

# Базовый поиск
grep -i "amazon-kendra" /var/log/nginx/access.log

# Топ URL — ожидаемо ограниченный набор seed-адресов или страниц из sitemap
grep -i "amazon-kendra" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "amazon-kendra" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — ожидаемо по расписанию синхронизации, заданному клиентом
grep -i "amazon-kendra" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов конкретно для этого коннектора не найдено — для решения allow/deny смотрите связку UA + IP/ASN (инфраструктура AWS) + ограниченный, предсказуемый набор URL, характерный для целевого, а не свободного обхода:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Amazon Kendra

# Жёсткий запрет — если сайт не является источником для чьего-либо индекса Kendra
User-agent: amazon-kendra
Disallow: /

# Разрешить всё — необходимо, если сайт настроен как источник данных Web Crawler
User-agent: amazon-kendra
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "amazon-kendra") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_a7b51ceae3f3_key {
    default "";
    "~*amazon-kendra" $binary_remote_addr;
}
limit_req_zone $tv_ng_a7b51ceae3f3_key zone=tv_ng_a7b51ceae3f3:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_a7b51ceae3f3 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} amazon-kendra [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • прежде чем блокировать — проверьте, не настроен ли на сайте (или у связанного с ним партнёра/клиента) индекс Kendra с источником Web Crawler, указывающим на этот домен;
  • если используется — allow, блокировка сломает собственную корпоративную поисковую инфраструктуру;
  • если сайт точно не связан ни с одним клиентом AWS Kendra — Disallow и запрет в TrafficVeil обоснованы;
  • после изменения сверьте логи и, если применимо, убедитесь, что нужный поисковый индекс продолжает синхронизироваться.

7. Что делать: короткий алгоритм

  • Первый шаг: выяснить, не настроен ли на вашей стороне (или у клиента/партнёра) индекс Kendra с этим сайтом в качестве источника;
  • Настроен и нужен — allow, это собственная корпоративная поисковая инфраструктура;
  • Сайт точно не связан ни с одним клиентом AWS Kendra — Disallow + запрет в TrafficVeil;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. С кем не путать Amazon Kendra

Бот / сосед Кластер Комментарий
MainWP Прочие краулеры и сервисы Та же логика «сначала проверьте, не ваш ли это инструмент», но для управления WordPress
Silktide Прочие краулеры и сервисы Та же модель «настроено кем-то из вашей организации», но для веб-governance/доступности
ActiveComply Прочие краулеры и сервисы (см. отдельную статью) Та же логика для узкой отраслевой ниши — регуляторный compliance-мониторинг финансовых организаций
contxbot Прочие краулеры и сервисы (см. отдельную статью) Тоже официально задокументированный бот Amazon, но с другой задачей — товарные рекомендации для Native Shopping Ads, а не корпоративный поиск

9. Стратегия allow/deny для Amazon Kendra

Ситуация Действие
Сайт настроен как источник данных для чьего-либо индекса Kendra Allow — собственная (или партнёрская) корпоративная поисковая инфраструктура
Сайт не связан ни с одним клиентом AWS Kendra Disallow + запрет в TrafficVeil
Неясно, кто и зачем настроил индексацию Уточнить у своей команды или партнёрских организаций, использующих AWS
Нагрузка от обхода заметна, но источник легитимен Обсудить настройки sync-расписания на стороне клиента, а не блокировать технически
Подозрение на подделку UA Проверять IP/ASN на принадлежность инфраструктуре AWS и ограниченный, предсказуемый набор запрашиваемых URL
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Amazon Kendra — это сторонний бот, который сканирует сайт без разрешения?
Маловероятно — обход выполняется только по URL, которые конкретный клиент AWS явно указал при настройке своего поискового индекса.
Как быстро проверить, легитимен ли этот трафик?
Уточнить у своей команды или партнёрских организаций, не настроен ли индекс Amazon Kendra с этим сайтом как источником данных.
Что произойдёт, если заблокировать Amazon Kendra на настроенном источнике?
Собственная или партнёрская корпоративная поисковая система перестанет находить контент этого сайта.
Может ли Amazon Kendra свободно обходить весь сайт?
Нет, обход ограничен seed-URL или sitemap, которые клиент явно указал, плюс настройками глубины и лимитов, заданными при конфигурации.
Есть ли другие боты Amazon с похожей моделью?
contxbot — тоже официально задокументированный бот Amazon, но с другой задачей: подбор товарных рекомендаций для рекламы, а не корпоративный поиск.
Соблюдает ли Amazon Kendra правила robots.txt?
Прямых данных о гарантированном соблюдении не найдено, поэтому для контроля доступа лучше не полагаться только на файл.
#Amazon Kendra#AWS#корпоративный поиск#Web Crawler#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота contxbot: нежелательный прочие краулеры и сервисы
Боты·6 мин

Contxbot: возможно, ваша реклама Amazon Associates

contxbot — официально задокументированный бот Amazon, который индексирует контент страницы для подбора товарных рекомендаций в рекламном блоке Native Shopping Ads, и если сайт использует эту рекламу, блокировка ударит по собственной монетизации. Разбираемся, почему первый шаг здесь — проверить наличие рекламного кода Amazon на сайте, и приводим официальный пример правила robots.txt прямо от самого Amazon.

Читать
Уникальная иллюстрация бота ConvermaxBot: нежелательный прочие краулеры и сервисы
Боты·6 мин

ConvermaxBot: возможно, ваш собственный поисковый виджет

ConvermaxBot принадлежит реальной e-commerce компании Convermax, которая продаёт интернет-магазинам поиск по сайту и специализированный fitment-поиск для автозапчастей — и в первую очередь стоит проверить, не установлен ли этот виджет на самом магазине, прежде чем блокировать бота как постороннего. Разбираемся, когда трафик означает вашу собственную поисковую инфраструктуру, а когда — стороннюю конкурентную разведку.

Читать
Иллюстрация бота ActiveComply: сканер соответствия и контента
Боты·6 мин

ActiveComply: возможно, ваш регуляторный мониторинг

ActiveComply — реальная compliance-платформа для банков, кредитных союзов и ипотечных брокеров, и если этот бот заходит на сайт из финансовой отрасли, это почти всегда означает подключённый регуляторный мониторинг WebCompass. Разбираемся, почему первый шаг здесь — не техническая блокировка, а проверка у compliance-отдела, и почему для сайтов вне финансовой ниши логика остаётся прежней.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil