Keyword Density AI: разовая SEO-проверка, не краулер

Строка keyword density ai в логах легко принять за очередного обучающего AI-краулера — но это тот случай, когда ни авторитетные источники, ни сама компания за этим названием не находятся однозначно. Разбираемся, что на самом деле стоит за такими UA и почему механика визита здесь понятнее, чем личность конкретного оператора.

Что известно о «Keyword Density AI» на самом деле

Единой, узнаваемой компании с таким названием и публичной документацией краулера не нашлось. Зато сама категория инструмента хорошо задокументирована: онлайн-чекеры плотности ключевых слов (keyword density checkers) — распространённый тип SEO-инструментов, которых на рынке десятки — от SmallSEOTools и SEO Review Tools до Originality.ai. Все они работают по одному принципу: пользователь вставляет URL интересующей страницы, а сервис на своей стороне забирает содержимое этой страницы, чтобы посчитать частоту и процент повторения ключевых слов.

Честная оговорка: в отличие от Copyscape или SkroutzBot, здесь нет ни одного источника, который бы прямо связывал строку «keyword density ai» с конкретной, названной компанией. Вывод о механике — по аналогии с целым классом похожих, хорошо задокументированных инструментов, а не по прямому подтверждению именно этого UA.

Почему это не тот же риск, что у обучающих краулеров

Чекеры плотности ключевых слов существуют именно для того, чтобы SEO-специалист или маркетолог мог быстро проверить конкретную страницу — свою или конкурента — по запросу, вставив URL вручную. Это не системный обход сайта ради обучающего корпуса, а разовое действие в ответ на чей-то конкретный запрос: часто такой инструмент используют для конкурентного SEO-анализа в той же нише, где работаете вы сами.

Как найти Keyword Density AI в логах

# Базовый поиск
grep -i "keyword density ai" /var/log/nginx/access.log

# Какие страницы запрашивались
grep -i "keyword density ai" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "keyword density ai" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Официального списка IP нет, поэтому верификация особенно важна:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

Единичное обращение к одной-двум страницам соответствует гипотезе о разовой проверке через онлайн-инструмент. Системный обход множества URL — сигнал сверить IP отдельно, прежде чем считать источник безобидным SEO-чекером.

robots.txt и настройка через TrafficVeil

# Разрешить точечные обращения
User-agent: keyword density ai
Allow: /

# Осторожный вариант при отсутствии подтверждённого оператора
User-agent: keyword density ai
Disallow: /

TrafficVeil: при редких, единичных визитах — allow без rate-limit, заметной нагрузки такой трафик не создаёт. Если хочется больше осторожности из-за отсутствия подтверждённого оператора — точечный Disallow не нанесёт вреда, поскольку SEO-выдачи и классического индексирования это не касается.

Что в итоге делать с Keyword Density AI