Боты3 мин чтения·24 июня 2026 г.·обновлено 19 ноября 2026 г.

MJ12bot — веб-краулер компании Majestic

MJ12bot — краулер Majestic с распределённой инфраструктурой. Документированный предел Crawl-delay, ограничения проверки происхождения и измерение нагрузки своего сайта.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота MJ12Bot: нежелательный seo и backlink-краулеры

MJ12bot — краулер Majestic для построения графа ссылок. Оператор описывает классическую инфраструктуру как распределённую сеть; универсальный фиксированный IP-диапазон для неё не публикуется. Число машин и сравнительная «агрессивность» здесь не измерялись. Решение об ограничениях принимают по нагрузке своего сайта.

Документация MJ12bot: распределённая инфраструктура, назначение и управление обходом. Указанное положение сверено 19.11.2026.

1. Что такое MJ12bot

1.1 User-Agent строка

# Текущая версия:
Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

# Номер версии регулярно меняется при обновлениях бота —
# ориентируйтесь на ключевое слово MJ12bot, а не точную версию

1.2 Кто стоит за MJ12bot

Параметр Значение
Оператор Majestic (Великобритания)
Основной продукт Backlink-индекс, Trust Flow, Citation Flow
Архитектура Распределённая сеть; число узлов здесь не подтверждено
Фокус Граф ссылок; оператор сообщает, что не кеширует веб-контент и персональные данные
Уровень агрессивности Оценивается по логам и ресурсам конкретного сайта

1.3 Trust Flow и Citation Flow — что строит MJ12bot

Метрика Что измеряет
Citation Flow (CF)Фирменная ссылочная метрика Majestic; точная формула в этом проходе не проверялась, это не просто счётчик входящих ссылок
Trust Flow (TF) Качественная оценка — насколько надёжны источники, ссылающиеся на домен
Соотношение TF/CF Используется SEO-специалистами как индикатор естественности ссылочного профиля: большой разрыв между CF и TF часто говорит о спамных или низкокачественных ссылках

Граф ссылок — основной продукт Majestic; точная формула метрик здесь не проверялась. В roadmap оператор также описывает использование сторонних источников данных, поэтому слово «исключительно» в прежнем описании отозвано.

Majestic roadmap от 11.08.2025, Our Approach to Crawling. Указанное положение сверено 19.11.2026.

1.4 Распределённая архитектура — источник проблем с верификацией

В отличие от Google или большинства SEO-краулеров, использующих централизованную инфраструктуру с предсказуемыми диапазонами IP, классический MJ12bot работает как распределённая сеть. Это исторически создавало серьёзную проблему для администраторов сайтов: бот не поддаётся простой верификации через обратный DNS так же надёжно, как Googlebot или Bingbot — у каждой отдельной машины в сети может не быть единообразной обратной DNS-записи.

1.5 Исторический roadmap: дополнительный краулер

В roadmap Majestic от 11.08.2025 объявлен дополнительный централизованный краулер и поддержка правил MJ12bot на этапе финальной беты и как минимум 12 месяцев после неё. Это датированное объявление о планах, а не подтверждение текущего статуса релиза, имени нового токена или диапазонов IP на ноябрь 2026 года. Для настройки нового агента нужна его актуальная отдельная документация.

Проверены содержание и дата именно этого объявления, а не выполнение всех пунктов roadmap. Указанное положение сверено 19.11.2026.

2. Как работает MJ12bot

2.1 Этапы обхода

  1. MJ12bot систематически обходит публичные страницы интернета, переходя по обнаруженным ссылкам.
  2. На каждой странице фиксируются все исходящие и входящие гиперссылки.
  3. Данные о связях между страницами агрегируются в граф ссылок Majestic.
  4. На основе накопленного графа рассчитываются метрики Trust Flow и Citation Flow для каждого домена и URL.
  5. Обновлённые данные становятся доступны в инструментах Majestic (Site Explorer, Majestic Million и др.).

2.2 Что MJ12bot анализирует

Элемент Что извлекается Важность
Исходящие и входящие ссылки Построение глобального графа ссылок ⭐⭐⭐⭐⭐ Главная и практически единственная задача
Анкорный текст ссылок Контекст ссылочной массы ⭐⭐⭐⭐ Очень важно
Атрибуты ссылок (rel) nofollow, sponsored, ugc — фильтрация для метрик ⭐⭐⭐⭐ Очень важно
HTTP-статусы и редиректы Техническое здоровье ссылок в индексе ⭐⭐⭐ Важно
Текстовый контент страницы Вторично — Majestic специализируется именно на ссылках, а не контенте ⭐⭐ Умеренно

Ключевая особенность специализации: в отличие от Ahrefs или Semrush, которые наряду со ссылками глубоко анализируют контент, технические SEO-параметры и позиции в выдаче, MJ12bot сфокусирован практически исключительно на обнаружении и анализе ссылок. Разрешение или блокировка этого бота в первую очередь влияет на точность данных о вашем сайте именно в инструментах ссылочного анализа Majestic, а не на широкий спектр SEO-метрик.

3. Нагрузка на сервер

3.1 Как оценивать нагрузку без сравнительных обещаний

Распределённые источники могут создавать параллельные запросы. Однако архитектура сама по себе не доказывает, что MJ12bot нагружает любой сайт сильнее конкурентов. Сопоставляйте число запросов, объём ответов, частоту ошибок и загрузку origin в одном и том же временном окне.

3.2 Граница подтверждения исторической статистики

Прежние числа pbnshield за март–май 2026 года, доли и места в рейтинге отозваны: к этому материалу не приложены воспроизводимая выгрузка и методика классификации, позволяющие их проверить. Для оценки собственного сайта сохраните границы периода, часовой пояс, перечень доменов и правило определения MJ12bot; совпадение User-Agent обозначайте как заявленный токен, а не подтверждённого оператора.

3.3 Поддержка Crawl-delay

Оператор документирует Crawl-delay как целое число секунд с максимумом 20: более высокие значения сводятся к 20. Значение не является общим RPS-лимитом всей распределённой сети; возможны одновременные обращения нескольких экземпляров.

User-agent: MJ12bot
Crawl-delay: 10

MJ12bot: How can I slow down MJ12bot?: предел 20, возможная параллельность и приоритет отдельной группы над *. При отдельной группе перенесите в неё нужные правила из *. Указанное положение сверено 19.11.2026.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Обнаружение в логах

4.1 Как выглядит запись

Ниже только условная иллюстрация формата access.log с адресом из документального диапазона, а не наблюдение реального запроса или утверждение о новом токене v2. Версия в заявленном UA не удостоверяет отправителя.

198.51.100.21 - - [01/Jan/2026:12:00:00 +0000] "GET /example/ HTTP/1.1" 200 1234 "-" "MJ12bot/1.4.8"

4.2 Аналитика через grep

Найти все запросы MJ12bot:

grep -i 'mj12bot' /var/log/apache2/access.log

Подсчитать количество запросов за сегодня:

grep -i 'mj12bot' access.log | grep "$(date +%d/%b/%Y)" | wc -l

Топ обходимых страниц:

grep -i 'mj12bot' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Bandwidth, потребляемый ботом (приблизительно):

grep -i 'mj12bot' access.log \
  | awk '{sum += $10} END {print sum/1024/1024 " MB"}'

HTTP-коды ответов:

grep -i 'mj12bot' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Активность по часам — выявление пиков нагрузки:

grep -i 'mj12bot' access.log \
  | awk '{print $4}' | cut -d: -f2 | sort | uniq -c | sort -n

Live-мониторинг:

tail -f /var/log/apache2/access.log | grep --line-buffered -i 'mj12bot'

4.3 Верификация подлинности

Для классической распределённой сети на странице оператора описан согласованный с поддержкой идентификатор в CRAWLER-IDENT или User-Agent. Не публикуйте его значение. Простое совпадение PTR с mj12bot.com и похожее поведение не заменяют согласованный способ подтверждения. По паттерну запросов можно оценить риск, но нельзя достоверно установить отправителя.

Убрана недокументированная DNS-проверка и проверка домена по подстроке. Указанное положение сверено 19.11.2026.

5. Управление MJ12bot

5.1 Полная блокировка через robots.txt

User-agent: MJ12bot
Disallow: /

Запрет добровольного обхода влияет на возможность MJ12bot получать новые страницы. Не обещайте на этом основании неизменность поисковых позиций, точность определённой метрики или немедленное удаление исторических ссылочных данных.

5.2 Рекомендуемый компромисс — Crawl-delay вместо блокировки

User-agent: MJ12bot
Crawl-delay: 10
Disallow: /admin/
Disallow: /private/
Disallow: /staging/
Disallow: /api/
Allow: /blog/
Allow: /

5.3 Ограничение по времени суток (off-peak crawling)

Для сайтов, где нагрузка от MJ12bot заметна в часы пиковой пользовательской активности, можно настроить разрешение обхода только в непиковые часы на уровне сервера:

# Nginx — пример ограничения через geo/map в комбинации с условием времени
# (требует дополнительной логики на уровне приложения или специализированных модулей,
# так как чистый Nginx не поддерживает условия по времени из коробки) —
# альтернатива: настройка через внешний скрипт-обёртку или WAF-правило по расписанию.

5.4 Rate limiting через Nginx

# Пример: map и limit_req_zone находятся в http {};
# location — внутри нужного server {}. Порог иллюстративный.
map $http_user_agent $mj12_example_key {
    default "";
    "~*MJ12bot" $binary_remote_addr;
}
limit_req_zone $mj12_example_key zone=mj12_example:10m rate=1r/s;

server {
    # Дополните реальными listen, server_name и обработчиком сайта.
    location / {
        limit_req zone=mj12_example burst=5;
        # Здесь остаётся существующий обработчик приложения.
    }
}

По документации limit_req запросы с пустым ключом не учитываются; поэтому остальные User-Agent не попадают в общий счётчик. map задаётся в http, limit_req — в http/server/location, а не внутри if. Это лимит по IP для заявленного токена, не подтверждение оператора и не защита от смены IP/UA. Сначала проверьте конфигурацию nginx -t и на тестовой площадке; за доверенным прокси отдельно настройте восстановление клиентского IP. Указанное положение сверено 19.11.2026.

5.5 Блокировка через .htaccess (Apache)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC]
RewriteRule .* - [F,L]

5.6 Подготовка к новому краулеру v2

Не переносите описание бета-тестирования из объявления 2025 года на текущую дату. Перед отдельными правилами для нового User-Agent найдите опубликованную оператором документацию и сверяйте токен буквально. Не давайте исключение в защите только из-за похожего имени в логе.

Исторический источник: Majestic, roadmap от 11.08.2025. Указанное положение сверено 19.11.2026.

6. Диагностика проблем

6.1 Типичные проблемы и решения

Проблема Причина Решение
MJ12bot создаёт заметную нагрузку Распределённая архитектура, отсутствие Crawl-delay Использовать документированный Crawl-delay до 20; эффект проверить по логам
Не получается верифицировать IP через DNS Особенность распределённой сети — нет единообразных PTR-записей Не считать PTR/паттерн доказательством; согласовать идентификатор с поддержкой
Данные Trust Flow/Citation Flow устарели Бот заблокирован полностью Проверить robots.txt, рассмотреть Crawl-delay вместо Disallow
Появились записи с незнакомым User-Agent похожим на MJ12bot Оператор по сходству токена не установлен Найти актуальную документацию токена; до подтверждения применять обычную политику риска
Подозрение на подделку User-Agent Из-за сложности верификации MJ12bot — частая цель для маскировки Анализировать паттерн поведения, обращаться в поддержку Majestic при сомнениях

6.2 Пошаговая диагностика

Шаг 1 — Проверить robots.txt:

curl https://example.com/robots.txt | grep -i 'mj12bot'

Шаг 2 — Проверить доступность сайта для бота:

curl -A "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)" \
  -I https://example.com/
# Ожидается: HTTP/1.1 200 OK

Шаг 3 — Оценить реальное влияние на сервер:

# Сравнить долю MJ12bot в общем трафике:
echo "Всего запросов:"
wc -l access.log
echo "Запросов от MJ12bot:"
grep -ci 'mj12bot' access.log

Шаг 4 — При сомнениях в легитимности — обратиться в Majestic:

# Официальный сайт с FAQ и контактами:
https://mj12bot.com/

7. MJ12bot и другие ссылочные краулеры

Пределы Crawl-delay, способы верификации и влияние запрета различаются у операторов. Предел MJ12bot — до 20 секунд по его документации. Для сравнения используйте отдельные руководства AhrefsBot, SemrushBot и DotBot; не переносите численные пределы одного агента на другого. Непроверенные сравнительные доли pbnshield и пределы соседних ботов из прежней таблицы удалены.

8. Рекомендуемая стратегия

Сопоставляйте пользу ссылочного индекса и нагрузку своего сайта. Распределённая архитектура не доказывает большую нагрузку по сравнению со всеми конкурентами.

ЗадачаДействие
Добровольно замедлить MJ12botCrawl-delay целым числом до 20 по документации оператора
Контролировать фактическую частотуПроверенная серверная политика; пример выше не задаёт универсальную квоту
Ограничить будущий обходUser-agent: MJ12bot и Disallow:/; это не обещание удаления исторического индекса
Защитить закрытые данныеАвторизация и права доступа, а не Disallow
Оценить происхождениеСогласованный идентификатор оператора; UA/поведение/PTR сами по себе не дают доверия
Оценить нагрузкуОдинаковый период измерений запросов, ошибок, объёма и ресурсов origin

Документированные ограничения MJ12bot. Указанное положение сверено 19.11.2026.

Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Какую задержку Crawl-delay поддерживает MJ12bot?
По документации оператора, целое число секунд до 20; большее значение будет сведено к 20. Это не общий RPS-лимит нескольких экземпляров. Источник: https://mj12bot.com/; проверено 19.11.2026.
Как подтвердить классический распределённый MJ12bot?
Оператор предлагает согласованный идентификатор CRAWLER-IDENT или идентификатор в User-Agent через поддержку. PTR и поведение сами по себе не доказывают происхождение. Источник: https://mj12bot.com/; проверено 19.11.2026.
Доказывает ли roadmap2025 текущую стадию беты в 2026?
Нет. Объявление 11.08.2025 описывает планы дополнительного краулера и переходные правила. Текущий токен и статус нужно проверять отдельно.
Проверены ли прежние цифры pbnshield?
Они отозваны из этой публикации: здесь нет публичного агрегата и воспроизводимой методики для указанного исторического периода.
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil