MBCrawler — краулер сервиса Monitor Backlinks, который теперь работает в составе экосистемы SEOptimer: собирает данные для backlink- и SEO-мониторинга. Это не Googlebot, и его блокировка не прячет ваш профиль ссылок — та же информация всё равно видна через десятки других инструментов мониторинга обратных ссылок, работающих независимо от MBCrawler.
Параметры
| Параметр | Значение |
|---|---|
| UA | MBCrawler/1.0 (https://monitorbacklinks.com/robot) |
| Токен | MBCrawler |
| Оператор | Monitor Backlinks / SEOptimer |
| Исторически | также встречался под именем BCKLINKS 1.0 |
| IP-лист | ❌ Компактного официального feed обычно нет; в полевых наблюдениях трафик шёл с облачных адресов (диапазоны Amazon) |
| robots.txt | Ожидается соблюдение (в старых FAQ сервиса упоминается поддержка Crawl-delay) |
Почему бот возвращается именно на эти страницы
MBCrawler устроен не как случайный обход всего сайта, а как систематическая проверка конкретных страниц, на которых уже зафиксирована ссылка на отслеживаемый домен: сервис регулярно перепроверяет, жива ли ссылка, изменился ли её тип (dofollow/nofollow), не пропал ли анкор, не появился ли на странице noindex. Частота визитов зависит от авторитетности сайта-донора и того, насколько активно сама ссылка отслеживается клиентами сервиса. Практический вывод: если MBCrawler регулярно возвращается на одну и ту же страницу вашего сайта — почти наверняка именно на ней стоит чья-то ссылка, которую кто-то поставил на мониторинг. Это может быть как ваша же команда (если вы сами клиент Monitor Backlinks/SEOptimer), так и сторонний владелец сайта, отслеживающий полученную от вас ссылку, или даже конкурент, изучающий чужой профиль обратных ссылок.
Нагрузка
По сводке TrafficVeil паттерн mbcrawler — порядка 8 тысяч запросов, с пиком в апреле (~7,9 тыс.). Такая концентрация в одном месяце может говорить о разовой массовой проверке большого пакета отслеживаемых ссылок, а не о постоянно ровном фоне.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Контроль
grep -i "MBCrawler" /var/log/nginx/access.logUser-agent: MBCrawler
Disallow: /if ($http_user_agent ~* "MBCrawler") {
return 403;
}Стратегия
- Сами пользуетесь Monitor Backlinks или SEOptimer для мониторинга своих ссылок — Allow, при желании с ограничением частоты через Crawl-delay
- Не используете этот сервис — Disallow + deny; блокировка ничего не прячет с точки зрения видимости вашего профиля ссылок, поскольку те же данные доступны через другие независимые инструменты мониторинга
- Не путайте с Majestic, Ahrefs или Semrush — это другие сервисы конкурентной SEO-аналитики с собственными, отдельными UA
Частые вопросы
Почему MBCrawler периодически заходит на одну и ту же страницу сайта?
Кто именно мог поставить ссылку на моём сайте на мониторинг?
Скроет ли блокировка MBCrawler мой профиль обратных ссылок от посторонних?
Поддерживает ли MBCrawler директиву Crawl-delay в robots.txt?
Стоит ли путать MBCrawler с ботами Ahrefs, Majestic или Semrush?
Что делать, если сайт сам пользуется Monitor Backlinks или SEOptimer?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.