Особенность этого агента в том, что сам Keys.so практически не публикует техническую документацию о собственном краулере — ни официального списка IP-адресов, ни страницы вида «как нас распознать» или «как нас заблокировать», какие есть у Яндекса, Google или Ahrefs. Это делает keys-so-bot одним из наименее документированных агентов в нашей базе знаний, поэтому в статье чётко разделены проверенные факты и косвенные наблюдения сообщества веб-мастеров.
1. Что такое keys-so-bot
| Параметр | Значение |
|---|---|
| User-Agent | Mozilla/5.0 (keys-so-bot) |
| Оператор | Keys.so (сервис принадлежит компании «Битерика Групп») |
| Назначение | Сбор данных для SEO-аналитики: позиции в выдаче, семантика, контекстная реклама, история robots.txt |
| Тип краулера | SEO / конкурентная разведка (аналог AhrefsBot, SemrushBot, DotBot) |
| Официальная документация | Отсутствует — нет публичной страницы с описанием бота, IP-диапазонов или правил сканирования |
| Уважает robots.txt | Точно не подтверждено официально; часть веб-мастеров сообщает о сканировании разделов, закрытых в robots.txt |
Keys.so — один из самых популярных инструментов SEO-аналитики на русскоязычном рынке: сервис используют для отслеживания позиций сайтов, анализа семантического ядра конкурентов, кластеризации запросов и мониторинга рекламных кампаний в РСЯ. Чтобы предоставлять эти данные, сервису нужно самостоятельно сканировать миллионы доменов — это и делает keys-so-bot.
2. Достоверно и предположительно
Из-за отсутствия официальной документации важно разделять то, что подтверждено напрямую (наблюдение в логах, воспроизводимое поведение), и то, что основано на сообщениях веб-мастеров на форумах и косвенных признаках.
| Утверждение | Статус | Основание |
|---|---|---|
User-Agent содержит строку keys-so-bot |
✅ Достоверно | Массово фиксируется в логах серверов, подтверждается независимыми базами краулеров |
| Бот собирает данные для отчётов Keys.so о видимости сайтов | ✅ Достоверно | Соответствует заявленному функционалу сервиса (отчёты по доменам, история robots.txt) |
| IP-адреса принадлежат ASN «Битерика Групп» | ⚠️ Предположительно | Многократно упоминается веб-мастерами в тематических обсуждениях, но не подтверждено официальным списком от Keys.so |
| Официальный список IP / диапазонов для верификации | ❌ Не опубликован | В отличие от Google, Яндекса, Bing и даже Ahrefs, у Keys.so нет публичной страницы с этой информацией |
| Бот полностью соблюдает правила robots.txt | ⚠️ Предположительно, есть сомнения | Часть веб-мастеров на форумах сообщает о сканировании разделов, явно закрытых в robots.txt |
| Единичные всплески аномально высокой частоты запросов | ⚠️ Предположительно | Зафиксированы отдельные жалобы на резкие скачки нагрузки; неясно, был ли источник именно keys-so-bot или сторонний парсер с похожим ASN |
Рекомендация: относитесь к разделам ниже про IP-верификацию и управление ботом как к лучшей практике на основе косвенных данных, а не как к официально задокументированному поведению — в отличие, например, от статей про Googlebot или YandexBot.
3. Как работает keys-so-bot
По косвенным признакам (структура запросов в логах, характер обращений с разных IP) поведение бота типично для SEO-краулеров конкурентной разведки:
- Обход страниц сайта для построения карты структуры и извлечения ключевых слов из контента и мета-тегов;
- Периодическая проверка файла robots.txt — для собственного инструмента Keys.so «История robots.txt», который отслеживает изменения этого файла у сайтов из базы сервиса;
- Сканирование с большого числа IP-адресов одновременно, а не с одного постоянного адреса — это затрудняет блокировку по IP и характерно для распределённых краулинговых инфраструктур;
- Умеренная частота запросов с одного IP (по сообщениям веб-мастеров — порядка 20–30 запросов в минуту), но за счёт параллельных подключений с десятков адресов суммарная нагрузка может быть заметной.
4. Нагрузка на сервер
По данным мониторинга bot-трафика Trafficveil (ClickHouse, 696 доменов, 161 уникальный бот за 91 день, март–июнь 2026), keys-so-bot не входит в топ по объёму запросов — в отличие от AhrefsBot, SemrushBot или DotBot, его трафик стабильно попадает в категорию менее заметных SEO-агентов. Это согласуется с сообщениями веб-мастеров о том, что бот сканирует избирательно — в первую очередь сайты, добавленные в базу Keys.so пользователями сервиса, а не весь интернет подряд, как крупные индексаторы.
При этом на форумах веб-мастеров встречаются отдельные жалобы на заметную нагрузку — вплоть до сравнения с DDoS-атакой при резких пиках частоты запросов. Эти случаи не носят массового характера, но подтверждают, что при большом количестве доменов на сервере суммарный трафик от параллельных IP бота стоит мониторить.
Если у вас есть точные цифры по keys-so-bot из ClickHouse (ранг, доля запросов, количество IP) — пришлите, и я добавлю их в раздел с конкретными значениями, как в статьях про других SEO-ботов.
5. Обнаружение в логах
Поиск по User-Agent
# Все запросы от keys-so-bot
grep -i "keys-so-bot" /var/log/nginx/access.log
# Количество запросов за сегодня
grep -i "keys-so-bot" /var/log/nginx/access.log | grep "$(date '+%d/%b/%Y')" | wc -l
# Уникальные IP-адреса бота
grep -i "keys-so-bot" /var/log/nginx/access.log | awk '{print $1}' | sort -u
# Топ сканируемых разделов сайта
grep -i "keys-so-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
# Частота запросов по минутам (для выявления пиков)
grep -i "keys-so-bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1-3 | sort | uniq -c | sort -rn | head -10Верификация IP-адресов
Важное отличие от статей про Googlebot и YandexBot: у Keys.so нет официальной страницы с диапазонами IP или инструкцией reverse DNS-проверки. Поэтому чистая DNS-верификация (PTR-запись → forward-подтверждение) здесь работать не будет так же надёжно — сначала стоит проверить, есть ли у IP вообще PTR-запись, а затем сверить принадлежность сети через WHOIS/ASN.
#!/bin/bash
# Проверка IP, предположительно принадлежащих keys-so-bot
# Комбинированный метод: PTR-запись + ASN/WHOIS, так как официального списка IP нет
LOG_FILE="/var/log/nginx/access.log"
IPS=$(grep -i "keys-so-bot" "$LOG_FILE" | awk '{print $1}' | sort -u)
echo "IP-адрес | PTR-запись | ASN/Организация"
echo "---------------------------------------"
for ip in $IPS; do
ptr=$(dig +short -x "$ip" 2>/dev/null)
ptr=${ptr:-"нет PTR-записи"}
# ASN/организация через whois (требует установленного whois)
org=$(whois "$ip" 2>/dev/null | grep -iE "^(org-name|orgname|netname|descr)" | head -1 | cut -d: -f2 | sed 's/^ *//')
org=${org:-"не определено"}
echo "$ip | $ptr | $org"
done# Проверка конкретного подозрительного IP вручную
IP="1.2.3.4"
echo "PTR:"; dig +short -x "$IP"
echo "WHOIS (организация):"; whois "$IP" | grep -iE "orgname|netname|descr"Если PTR-запись отсутствует и WHOIS показывает организацию, не связанную с известными по форумам диапазонами, стоит относиться к такому запросу как к неподтверждённому — возможно, это подделка User-Agent сторонним парсером, а не настоящий keys-so-bot.
6. robots.txt
Поскольку соблюдение ботом директив robots.txt официально не подтверждено, файл стоит рассматривать как «вежливую просьбу», а не гарантированный механизм блокировки — и дополнять его серверными правилами, если нагрузка критична.
# Полная блокировка сканирования
User-agent: keys-so-bot
Disallow: /
# Частичная блокировка — закрыть только тяжёлые/служебные разделы
User-agent: keys-so-bot
Disallow: /search/
Disallow: /filter/
Disallow: /admin/
Allow: /
# Ограничение частоты обращений (директива необязательна к исполнению)
User-agent: keys-so-bot
Crawl-delay: 107. Управление на уровне сервера
Так как официальные IP-диапазоны не опубликованы, наиболее надёжный способ контроля — блокировка по User-Agent на уровне веб-сервера, а не по IP (диапазоны могут меняться и расширяться).
Nginx
if ($http_user_agent ~* "keys-so-bot") {
return 403;
}
# Более мягкий вариант — ограничение частоты запросов вместо полной блокировки
limit_req_zone $binary_remote_addr zone=keysso:10m rate=5r/m;
location / {
if ($http_user_agent ~* "keys-so-bot") {
limit_req zone=keysso burst=10 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} keys-so-bot [NC]
RewriteRule ^ - [F,L]8. Рекомендации по оптимизации
- Не паникуйте из-за самого факта сканирования — Keys.so легитимный, широко используемый в отрасли SEO-инструмент, а не вредоносный скрапер;
- Мониторьте суммарную нагрузку, а не отдельные IP — из-за параллельного сканирования с десятков адресов важна именно агрегированная частота запросов;
- Используйте User-Agent блокировку, а не IP-блокировку как основной метод, если решите ограничить бота — диапазоны IP нестабильны и не задокументированы официально;
- Проверяйте PTR/WHOIS при аномалиях — резкие всплески трафика могут быть сторонним парсером, подделывающим User-Agent под keys-so-bot;
- Взвесьте бизнес-контекст перед блокировкой: если конкуренты используют Keys.so для анализа вашего сайта, блокировка бота не скроет сайт от них полностью — данные могут собираться и другими методами.
9. Сравнение с похожими SEO-ботами
| Бот | Оператор | Официальный список IP | Соблюдение robots.txt | Регион фокуса |
|---|---|---|---|---|
| keys-so-bot | Keys.so (Битерика Групп) | ❌ Нет | ⚠️ Не подтверждено | Русскоязычный сегмент (RU) |
| AhrefsBot | Ahrefs | ✅ Есть | ✅ Официально заявлено | Глобальный |
| SemrushBot | Semrush | ✅ Есть | ✅ Официально заявлено | Глобальный |
| DotBot | Moz | ✅ Есть | ✅ Официально заявлено | Глобальный |
| MJ12bot | Majestic | ✅ Есть | ✅ Официально заявлено | Глобальный |
Ключевое отличие keys-so-bot от остальных крупных SEO-краулеров — отсутствие прозрачности со стороны оператора. Это не означает недобросовестность сервиса, но затрудняет техническую верификацию и управление ботом на стороне веб-мастера.
10. Сводная таблица стратегии
| Ситуация | Рекомендация |
|---|---|
| Сайт не испытывает заметной нагрузки | Не предпринимать действий, мониторить логи периодически |
| Нагрузка заметна, но не критична | Crawl-delay в robots.txt + rate limiting на Nginx |
| Нагрузка критична / похоже на злоупотребление | Блокировка по User-Agent на уровне сервера (403) |
| Подозрение на подделку User-Agent | Проверка PTR/WHOIS перед блокировкой легитимного трафика |
| Вы сами используете Keys.so для анализа своих сайтов | Не блокировать — иначе отчёты по собственному домену будут неполными |