MJ12bot — краулер Majestic для построения графа ссылок. Оператор описывает классическую инфраструктуру как распределённую сеть; универсальный фиксированный IP-диапазон для неё не публикуется. Число машин и сравнительная «агрессивность» здесь не измерялись. Решение об ограничениях принимают по нагрузке своего сайта.
Документация MJ12bot: распределённая инфраструктура, назначение и управление обходом. Указанное положение сверено 19.11.2026.
1. Что такое MJ12bot
1.1 User-Agent строка
# Текущая версия:
Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
# Номер версии регулярно меняется при обновлениях бота —
# ориентируйтесь на ключевое слово MJ12bot, а не точную версию
1.2 Кто стоит за MJ12bot
| Параметр | Значение |
|---|---|
| Оператор | Majestic (Великобритания) |
| Основной продукт | Backlink-индекс, Trust Flow, Citation Flow |
| Архитектура | Распределённая сеть; число узлов здесь не подтверждено |
| Фокус | Граф ссылок; оператор сообщает, что не кеширует веб-контент и персональные данные |
| Уровень агрессивности | Оценивается по логам и ресурсам конкретного сайта |
1.3 Trust Flow и Citation Flow — что строит MJ12bot
| Метрика | Что измеряет |
|---|---|
| Citation Flow (CF) | Фирменная ссылочная метрика Majestic; точная формула в этом проходе не проверялась, это не просто счётчик входящих ссылок |
| Trust Flow (TF) | Качественная оценка — насколько надёжны источники, ссылающиеся на домен |
| Соотношение TF/CF | Используется SEO-специалистами как индикатор естественности ссылочного профиля: большой разрыв между CF и TF часто говорит о спамных или низкокачественных ссылках |
Граф ссылок — основной продукт Majestic; точная формула метрик здесь не проверялась. В roadmap оператор также описывает использование сторонних источников данных, поэтому слово «исключительно» в прежнем описании отозвано.
Majestic roadmap от 11.08.2025, Our Approach to Crawling. Указанное положение сверено 19.11.2026.
1.4 Распределённая архитектура — источник проблем с верификацией
В отличие от Google или большинства SEO-краулеров, использующих централизованную инфраструктуру с предсказуемыми диапазонами IP, классический MJ12bot работает как распределённая сеть. Это исторически создавало серьёзную проблему для администраторов сайтов: бот не поддаётся простой верификации через обратный DNS так же надёжно, как Googlebot или Bingbot — у каждой отдельной машины в сети может не быть единообразной обратной DNS-записи.
1.5 Исторический roadmap: дополнительный краулер
В roadmap Majestic от 11.08.2025 объявлен дополнительный централизованный краулер и поддержка правил MJ12bot на этапе финальной беты и как минимум 12 месяцев после неё. Это датированное объявление о планах, а не подтверждение текущего статуса релиза, имени нового токена или диапазонов IP на ноябрь 2026 года. Для настройки нового агента нужна его актуальная отдельная документация.
Проверены содержание и дата именно этого объявления, а не выполнение всех пунктов roadmap. Указанное положение сверено 19.11.2026.
2. Как работает MJ12bot
2.1 Этапы обхода
- MJ12bot систематически обходит публичные страницы интернета, переходя по обнаруженным ссылкам.
- На каждой странице фиксируются все исходящие и входящие гиперссылки.
- Данные о связях между страницами агрегируются в граф ссылок Majestic.
- На основе накопленного графа рассчитываются метрики Trust Flow и Citation Flow для каждого домена и URL.
- Обновлённые данные становятся доступны в инструментах Majestic (Site Explorer, Majestic Million и др.).
2.2 Что MJ12bot анализирует
| Элемент | Что извлекается | Важность |
|---|---|---|
| Исходящие и входящие ссылки | Построение глобального графа ссылок | ⭐⭐⭐⭐⭐ Главная и практически единственная задача |
| Анкорный текст ссылок | Контекст ссылочной массы | ⭐⭐⭐⭐ Очень важно |
| Атрибуты ссылок (rel) | nofollow, sponsored, ugc — фильтрация для метрик | ⭐⭐⭐⭐ Очень важно |
| HTTP-статусы и редиректы | Техническое здоровье ссылок в индексе | ⭐⭐⭐ Важно |
| Текстовый контент страницы | Вторично — Majestic специализируется именно на ссылках, а не контенте | ⭐⭐ Умеренно |
Ключевая особенность специализации: в отличие от Ahrefs или Semrush, которые наряду со ссылками глубоко анализируют контент, технические SEO-параметры и позиции в выдаче, MJ12bot сфокусирован практически исключительно на обнаружении и анализе ссылок. Разрешение или блокировка этого бота в первую очередь влияет на точность данных о вашем сайте именно в инструментах ссылочного анализа Majestic, а не на широкий спектр SEO-метрик.
3. Нагрузка на сервер
3.1 Как оценивать нагрузку без сравнительных обещаний
Распределённые источники могут создавать параллельные запросы. Однако архитектура сама по себе не доказывает, что MJ12bot нагружает любой сайт сильнее конкурентов. Сопоставляйте число запросов, объём ответов, частоту ошибок и загрузку origin в одном и том же временном окне.
3.2 Граница подтверждения исторической статистики
Прежние числа pbnshield за март–май 2026 года, доли и места в рейтинге отозваны: к этому материалу не приложены воспроизводимая выгрузка и методика классификации, позволяющие их проверить. Для оценки собственного сайта сохраните границы периода, часовой пояс, перечень доменов и правило определения MJ12bot; совпадение User-Agent обозначайте как заявленный токен, а не подтверждённого оператора.
3.3 Поддержка Crawl-delay
Оператор документирует Crawl-delay как целое число секунд с максимумом 20: более высокие значения сводятся к 20. Значение не является общим RPS-лимитом всей распределённой сети; возможны одновременные обращения нескольких экземпляров.
User-agent: MJ12bot
Crawl-delay: 10
MJ12bot: How can I slow down MJ12bot?: предел 20, возможная параллельность и приоритет отдельной группы над *. При отдельной группе перенесите в неё нужные правила из *. Указанное положение сверено 19.11.2026.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Обнаружение в логах
4.1 Как выглядит запись
Ниже только условная иллюстрация формата access.log с адресом из документального диапазона, а не наблюдение реального запроса или утверждение о новом токене v2. Версия в заявленном UA не удостоверяет отправителя.
198.51.100.21 - - [01/Jan/2026:12:00:00 +0000] "GET /example/ HTTP/1.1" 200 1234 "-" "MJ12bot/1.4.8"
4.2 Аналитика через grep
Найти все запросы MJ12bot:
grep -i 'mj12bot' /var/log/apache2/access.log
Подсчитать количество запросов за сегодня:
grep -i 'mj12bot' access.log | grep "$(date +%d/%b/%Y)" | wc -l
Топ обходимых страниц:
grep -i 'mj12bot' access.log \
| awk '{print $7}' | sort | uniq -c | sort -rn | head -20
Bandwidth, потребляемый ботом (приблизительно):
grep -i 'mj12bot' access.log \
| awk '{sum += $10} END {print sum/1024/1024 " MB"}'
HTTP-коды ответов:
grep -i 'mj12bot' access.log \
| awk '{print $9}' | sort | uniq -c | sort -nr
Активность по часам — выявление пиков нагрузки:
grep -i 'mj12bot' access.log \
| awk '{print $4}' | cut -d: -f2 | sort | uniq -c | sort -n
Live-мониторинг:
tail -f /var/log/apache2/access.log | grep --line-buffered -i 'mj12bot'
4.3 Верификация подлинности
Для классической распределённой сети на странице оператора описан согласованный с поддержкой идентификатор в CRAWLER-IDENT или User-Agent. Не публикуйте его значение. Простое совпадение PTR с mj12bot.com и похожее поведение не заменяют согласованный способ подтверждения. По паттерну запросов можно оценить риск, но нельзя достоверно установить отправителя.
Убрана недокументированная DNS-проверка и проверка домена по подстроке. Указанное положение сверено 19.11.2026.
5. Управление MJ12bot
5.1 Полная блокировка через robots.txt
User-agent: MJ12bot
Disallow: /
Запрет добровольного обхода влияет на возможность MJ12bot получать новые страницы. Не обещайте на этом основании неизменность поисковых позиций, точность определённой метрики или немедленное удаление исторических ссылочных данных.
5.2 Рекомендуемый компромисс — Crawl-delay вместо блокировки
User-agent: MJ12bot
Crawl-delay: 10
Disallow: /admin/
Disallow: /private/
Disallow: /staging/
Disallow: /api/
Allow: /blog/
Allow: /
5.3 Ограничение по времени суток (off-peak crawling)
Для сайтов, где нагрузка от MJ12bot заметна в часы пиковой пользовательской активности, можно настроить разрешение обхода только в непиковые часы на уровне сервера:
# Nginx — пример ограничения через geo/map в комбинации с условием времени
# (требует дополнительной логики на уровне приложения или специализированных модулей,
# так как чистый Nginx не поддерживает условия по времени из коробки) —
# альтернатива: настройка через внешний скрипт-обёртку или WAF-правило по расписанию.
5.4 Rate limiting через Nginx
# Пример: map и limit_req_zone находятся в http {};
# location — внутри нужного server {}. Порог иллюстративный.
map $http_user_agent $mj12_example_key {
default "";
"~*MJ12bot" $binary_remote_addr;
}
limit_req_zone $mj12_example_key zone=mj12_example:10m rate=1r/s;
server {
# Дополните реальными listen, server_name и обработчиком сайта.
location / {
limit_req zone=mj12_example burst=5;
# Здесь остаётся существующий обработчик приложения.
}
}
По документации limit_req запросы с пустым ключом не учитываются; поэтому остальные User-Agent не попадают в общий счётчик. map задаётся в http, limit_req — в http/server/location, а не внутри if. Это лимит по IP для заявленного токена, не подтверждение оператора и не защита от смены IP/UA. Сначала проверьте конфигурацию nginx -t и на тестовой площадке; за доверенным прокси отдельно настройте восстановление клиентского IP. Указанное положение сверено 19.11.2026.
5.5 Блокировка через .htaccess (Apache)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC]
RewriteRule .* - [F,L]
5.6 Подготовка к новому краулеру v2
Не переносите описание бета-тестирования из объявления 2025 года на текущую дату. Перед отдельными правилами для нового User-Agent найдите опубликованную оператором документацию и сверяйте токен буквально. Не давайте исключение в защите только из-за похожего имени в логе.
Исторический источник: Majestic, roadmap от 11.08.2025. Указанное положение сверено 19.11.2026.
6. Диагностика проблем
6.1 Типичные проблемы и решения
| Проблема | Причина | Решение |
|---|---|---|
| MJ12bot создаёт заметную нагрузку | Распределённая архитектура, отсутствие Crawl-delay | Использовать документированный Crawl-delay до 20; эффект проверить по логам |
| Не получается верифицировать IP через DNS | Особенность распределённой сети — нет единообразных PTR-записей | Не считать PTR/паттерн доказательством; согласовать идентификатор с поддержкой |
| Данные Trust Flow/Citation Flow устарели | Бот заблокирован полностью | Проверить robots.txt, рассмотреть Crawl-delay вместо Disallow |
| Появились записи с незнакомым User-Agent похожим на MJ12bot | Оператор по сходству токена не установлен | Найти актуальную документацию токена; до подтверждения применять обычную политику риска |
| Подозрение на подделку User-Agent | Из-за сложности верификации MJ12bot — частая цель для маскировки | Анализировать паттерн поведения, обращаться в поддержку Majestic при сомнениях |
6.2 Пошаговая диагностика
Шаг 1 — Проверить robots.txt:
curl https://example.com/robots.txt | grep -i 'mj12bot'
Шаг 2 — Проверить доступность сайта для бота:
curl -A "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)" \
-I https://example.com/
# Ожидается: HTTP/1.1 200 OK
Шаг 3 — Оценить реальное влияние на сервер:
# Сравнить долю MJ12bot в общем трафике:
echo "Всего запросов:"
wc -l access.log
echo "Запросов от MJ12bot:"
grep -ci 'mj12bot' access.log
Шаг 4 — При сомнениях в легитимности — обратиться в Majestic:
# Официальный сайт с FAQ и контактами:
https://mj12bot.com/
7. MJ12bot и другие ссылочные краулеры
Пределы Crawl-delay, способы верификации и влияние запрета различаются у операторов. Предел MJ12bot — до 20 секунд по его документации. Для сравнения используйте отдельные руководства AhrefsBot, SemrushBot и DotBot; не переносите численные пределы одного агента на другого. Непроверенные сравнительные доли pbnshield и пределы соседних ботов из прежней таблицы удалены.
8. Рекомендуемая стратегия
Сопоставляйте пользу ссылочного индекса и нагрузку своего сайта. Распределённая архитектура не доказывает большую нагрузку по сравнению со всеми конкурентами.
| Задача | Действие |
|---|---|
| Добровольно замедлить MJ12bot | Crawl-delay целым числом до 20 по документации оператора |
| Контролировать фактическую частоту | Проверенная серверная политика; пример выше не задаёт универсальную квоту |
| Ограничить будущий обход | User-agent: MJ12bot и Disallow:/; это не обещание удаления исторического индекса |
| Защитить закрытые данные | Авторизация и права доступа, а не Disallow |
| Оценить происхождение | Согласованный идентификатор оператора; UA/поведение/PTR сами по себе не дают доверия |
| Оценить нагрузку | Одинаковый период измерений запросов, ошибок, объёма и ресурсов origin |
Документированные ограничения MJ12bot. Указанное положение сверено 19.11.2026.
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Какую задержку Crawl-delay поддерживает MJ12bot?
Как подтвердить классический распределённый MJ12bot?
Доказывает ли roadmap2025 текущую стадию беты в 2026?
Проверены ли прежние цифры pbnshield?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.