Боты4 мин чтения·29 июня 2026 г.·обновлено 19 ноября 2026 г.

DotBot от Moz: назначение, robots.txt и ограничения

DotBot наполняет ссылочный индекс Moz и отличается от Rogerbot для аудита сайта. Документированное управление обходом и границы проверки запросов.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота DotBot: нежелательный seo и backlink-краулеры

DotBot собирает данные для ссылочного индекса Moz. Его следует отличать от Rogerbot, которым Moz выполняет аудит сайта. Слова «доброкачественный» и узнаваемый User-Agent сами по себе не подтверждают отправителя и не дают оснований автоматически отключать защиту.

Назначение и различие агентов: руководство Moz по DotBot. Указанное положение сверено 19.11.2026.

1. Что такое DotBot

1.1 User-Agent строка

Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)

Обратите внимание: в строке User-Agent сохранилась ссылка на opensiteexplorer.org — устаревшее название инструмента, который теперь называется Link Explorer. Это историческое наследие: первый продукт Moz для анализа ссылок назывался Open Site Explorer, и хотя сам продукт давно переименован, ссылка в User-Agent осталась неизменной.

1.2 Кто стоит за DotBot

Параметр Значение
Оператор Moz (изначально SEOmoz, Inc.)
Основной продукт Индекс ссылок Mozscape, Domain Authority, Page Authority
Связанные инструменты Link Explorer, Links в Moz Pro, Moz Links API; Site Crawl относится к Rogerbot
Контакт для вебмастеров help@moz.com
Сбор персональных данных Гарантия отсутствия таких данных здесь не подтверждена; приватные URL защищайте авторизацией
Тип бота SEO Crawler

1.3 DotBot и Rogerbot выполняют разные задачи

Moz прямо различает DotBot для ссылочного индекса и Rogerbot для Site Crawl. Из этого не следует фиксированное число всех агентов компании. Правило для DotBot не является правилом для Rogerbot.

Сверены описанные Moz роли двух агентов. Указанное положение сверено 19.11.2026.

1.4 Domain Authority — что строит DotBot

Метрика Что измеряет
Domain Authority (DA) Прогнозируемая способность всего домена ранжироваться в поисковой выдаче, по шкале от 1 до 100
Page Authority (PA) Аналогичный показатель, но для отдельной конкретной страницы, а не всего домена
Назначение Сравнительная оценка — не абсолютный сигнал ранжирования Google, а инструмент сопоставления силы доменов между собой

Domain Authority и Page Authority — фирменные метрики Moz, связанные со ссылочными данными. Точная формула и полный перечень её входов в этом проходе не проверялись; описание алгоритма как «исключительно данных DotBot» отозвано. Эти показатели не следует выдавать за внутреннюю оценку Google.

2. Как работает DotBot

2.1 Что известно об алгоритме обхода

Руководство Moz объясняет назначение DotBot, но не подтверждает изложенную в прежней версии статьи модель машинного обучения, которая якобы выбирает каждый URL и расписание. Это описание алгоритма отозвано; частоту обращений своего сайта нужно измерять по логам.

2.2 Этапы обхода

DotBot получает веб-данные для Moz Link Index, доступного через Link Explorer, ссылки в Moz Pro и Moz Links API. Не приписывайте ему весь технический аудит Site Crawl: оператор относит эту задачу к Rogerbot.

Moz: Link Index Crawler и отличие от Rogerbot. Указанное положение сверено 19.11.2026.

2.3 Что DotBot анализирует

АгентПодтверждённая задача
DotBotВеб-данные для Moz Link Index
RogerbotАудит сайта Moz Pro Site Crawl

Это разграничение ролей из документации оператора, а не перечень всех собираемых полей или гарантия приватности. Указанное положение сверено 19.11.2026.

2.4 Частота и задержка применения robots.txt

Универсальная частота, зависимость от числа клиентов Moz и ML-расписание здесь не подтверждены. Для своего сайта измеряйте обращения в единицу времени и нагрузку на origin. Оператор показывает Crawl-delay:10 как пример замедления, а изменение robots.txt DotBot перечитывает при новом обходе индекса, поэтому мгновенное применение не обещается.

Moz: Slow Dotbot Down и перечитывание robots.txt. Указанное положение сверено 19.11.2026.

3. Польза и риски: взгляд с двух сторон

3.1 Преимущества разрешения DotBot

Разрешение обхода помогает пополнять ссылочный индекс Moz, если этот инструмент нужен вашей команде или партнёрам. Это не гарантия роста позиций, полноты индекса или безопасности любого запроса с таким User-Agent. Закрытые сведения защищают авторизацией, а не репутацией краулера.

3.2 Потенциальные сложности

Возможные расходы — запросы к ресурсоёмким URL, исходящий трафик и нагрузка на origin. Несколько IP в логе не доказывают, что несколько клиентов Moz заказали независимые обходы. Сначала проверьте реальную картину обращений, затем выбирайте ограничения.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Нагрузка на сервер

4.1 Документированная политика и измеряемая нагрузка

Moz документирует соблюдение robots.txt и пример Crawl-delay. Из этого не следует гарантированное back-off-поведение при любом ответе сервера или безопасная нагрузка для каждого сайта. Измеряйте ошибки и время ответа до и после изменения правил.

Заявленная оператором политика DotBot. Указанное положение сверено 19.11.2026.

4.2 Как разбирать всплески запросов

Рост запросов может иметь разные причины. Сопоставьте время, IP, URL и HTTP-статусы; проверьте другие процессы и кеш. Вывод о причине нагрузки по одному имени бота будет преждевременным.

4.3 Граница подтверждения оценки отдачи трафика

Прежняя оценка 0.087 человеческого визита на 1000 запросов и атрибуция Cloudflare Radar удалены: не указан воспроизводимый отчёт, период и метод сопоставления. Оценивать отдачу можно по своим проверенным переходам и затратам за одинаковый период; обращение краулера и пользовательский переход — разные события.

5. Обнаружение в логах

5.1 Как выглядит запись

# Иллюстрация формата записи, не наблюдение реального инцидента:
198.51.100.20 - - [09/May/2026:16:12:30 +0000] \
  "GET /blog/link-building-2026/ HTTP/1.1" \
  200 28432 "-" \
  "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"

5.2 Аналитика через grep

Найти все запросы DotBot:

grep -i 'dotbot' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'dotbot' access.log | wc -l

Топ обходимых страниц:

grep -i 'dotbot' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -30

HTTP-коды ответов:

grep -i 'dotbot' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Поиск параллельных волн обхода (несколько IP одновременно):

grep -i 'dotbot' access.log \
  | awk '{print $1}' | sort | uniq -c | sort -nr

Bandwidth, потребляемый ботом:

grep -i 'dotbot' access.log \
  | awk '{sum+=$10} END{print sum/1024/1024 " MB"}'

Live-мониторинг:

tail -f /var/log/nginx/access.log | grep --line-buffered -i 'dotbot'

5.3 Программная детекция (пример для серверных приложений)

# Python/Flask:
import re
from flask import request

def detect_dotbot():
    user_agent = request.headers.get('User-Agent', '')
    pattern = r'DotBot'
    if re.search(pattern, user_agent, re.IGNORECASE):
        return True
    return False

# PHP:
function detect_dotbot() {
    $user_agent = $_SERVER['HTTP_USER_AGENT'] ?? '';
    $pattern = '/DotBot/i';
    if (preg_match($pattern, $user_agent)) {
        error_log('DotBot detected from IP: ' . $_SERVER['REMOTE_ADDR']);
        return true;
    }
    return false;
}

5.4 Верификация подлинности

На проверенной странице Moz о DotBot не описан официальный алгоритм проверки через PTR→moz.com или публичный IP feed. Поэтому прежний скрипт с таким названием не является подтверждением подлинности и удалён. Логи помогают оценить поведение; для исключения из защиты нужно отдельное подтверждение оператора или согласование с поддержкой.

Проверка документации относится к указанной странице; отсутствие метода на ней не доказывает, что никакие другие способы никогда не публиковались. Указанное положение сверено 19.11.2026.

6. Управление DotBot

6.1 Полная блокировка через robots.txt

User-agent: DotBot
Disallow: /

Запрет добровольного обхода влияет на последующее получение данных DotBot. Он не гарантирует немедленное удаление ранее найденных сведений или определённое изменение показателей сайта. Поисковое ранжирование и ссылочный индекс Moz — разные системы.

6.2 Рекомендуемый сбалансированный подход

Выбирайте разрешение, замедление или запрет по пользе ссылочного индекса для своей команды и измеренной нагрузке. Пример Moz для добровольного замедления:

User-agent: DotBot
Crawl-delay: 10

Moz: Slow Dotbot Down; применяется при перечитывании robots.txt, без обещания мгновенного результата. Указанное положение сверено 19.11.2026.

6.3 Кеширование публичных ответов без утечки персональных данных

Один заголовок Cache-Control не включает серверный proxy_cache. Для публичных страниц кеширование настраивают отдельно, учитывая ключ, cookies, авторизацию, Cache-Control и Vary. Прежний пример, который выставлял public лишь по User-Agent, удалён: так можно ошибочно объявить персональный ответ общедоступным.

Механизм proxy_cache NGINX и ограничения RFC 9111, §3. Указанное положение сверено 19.11.2026.

6.4 Блокировка через .htaccess (Apache)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} DotBot [NC]
RewriteRule .* - [F,L]

6.5 Rate limiting через Nginx (предпочтительная альтернатива полной блокировке)

# Пример: map и limit_req_zone находятся в http {};
# location — внутри нужного server {}. Порог иллюстративный.
map $http_user_agent $dotbot_example_key {
    default "";
    "~*DotBot" $binary_remote_addr;
}
limit_req_zone $dotbot_example_key zone=dotbot_example:10m rate=1r/s;

server {
    # Дополните реальными listen, server_name и обработчиком сайта.
    location / {
        limit_req zone=dotbot_example burst=5;
        # Здесь остаётся существующий обработчик приложения.
    }
}

По документации limit_req запросы с пустым ключом не учитываются; поэтому остальные User-Agent не попадают в общий счётчик. map задаётся в http, limit_req — в http/server/location, а не внутри if. Это лимит по IP для заявленного токена, не подтверждение оператора и не защита от смены IP/UA. Сначала проверьте конфигурацию nginx -t и на тестовой площадке; за доверенным прокси отдельно настройте восстановление клиентского IP. Указанное положение сверено 19.11.2026.

6.6 Когда блокировка действительно оправдана

Сценарий Рекомендация
Сервер испытывает чрезмерную нагрузку от параллельных обходов Rate limiting предпочтительнее полной блокировки
Вы сами активно используете SEO-инструменты (свои или сторонние) Решение по измеренной нагрузке и пользе для своей команды
Закрытые/служебные разделы сайта Авторизация для закрытых URL; Disallow управляет добровольным обходом
Желание ограничить последующий обход именно DotBot Правило для DotBot не удаляет исторические данные и не запрещает всех других клиентов

7. Диагностика проблем

7.1 Типичные проблемы и решения

Проблема Причина Решение
DotBot создаёт заметную нагрузку Причина требует сопоставления логов и нагрузки Rate limiting вместо полной блокировки
Данные Domain Authority устарели Возможный фактор — ограничение обхода; причина требует проверки Проверить и скорректировать правила, дать боту доступ
Подозрение на подделку User-Agent Скрейперы маскируются под известный SEO-бот Не выдавать исключение по недокументированному PTR; обратиться в Moz
Бот посещает нежелательные/служебные разделы Нет точечных правил в robots.txt Добавить Disallow для конкретных путей
Непредсказуемая частота визитов Причина по имени бота не установлена Измерить нагрузку; использовать robots.txt и серверные ограничения по проверенной политике

7.2 Пошаговая диагностика

Шаг 1 — Проверить robots.txt:

curl https://example.com/robots.txt | grep -i 'dotbot'

Шаг 2 — Проверить доступность сайта для бота:

curl -A "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)" \
  -I https://example.com/
# Ожидается: HTTP/1.1 200 OK

Шаг 3 — Оценить долю трафика от бота:

echo "Всего запросов:"
wc -l access.log
echo "Запросов от DotBot:"
grep -ci 'dotbot' access.log

Шаг 4 — При сомнениях в легитимности конкретного IP — обратиться в Moz:

Email: help@moz.com
Документация: https://moz.com/help/moz-procedures/crawlers/dotbot

8. Сравнение с другими SEO-краулерами: границы данных

У каждого оператора своя политика обхода. В этой проверке подтверждены назначение DotBot и пример Crawl-delay10 у Moz; сравнительный crawl-to-click, неподтверждённые доли pbnshield и пределы соседних краулеров отозваны. Для отдельных политик используйте материалы о MJ12bot, AhrefsBot и SemrushBot.

9. Рекомендуемая стратегия

Главный принцип: учитывайте пользу ссылочного индекса и измеренную нагрузку своего сайта. Универсальная рекомендация разрешить или запретить весь трафик с этим токеном не заменяет проверку отправителя.

Задача Решение
Снизить нагрузку без блокировки Rate limiting через Nginx + кеширование для DotBot
Попросить DotBot прекратить будущий обход User-agent: DotBot / Disallow: /
Защитить служебные разделы Авторизация для приватных URL; robots.txt лишь управляет добровольным обходом
Оценить реальное влияние на сервер grep + расчёт доли от общего трафика, поиск параллельных IP
Верифицировать подлинность подозрительного трафика Отдельно подтвердить оператора; UA и PTR-подстрока не дают доказательства
Узнавать о визитах в реальном времени Подключить систему мониторинга агентов (Agent Analytics или аналог)
Решить нестандартную проблему Обратиться на help@moz.com

 

Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Чем DotBot отличается от Rogerbot?
DotBot наполняет Moz Link Index; Rogerbot выполняет аудит Site Crawl. Источник: https://moz.com/help/moz-procedures/crawlers/dotbot; проверено 19.11.2026.
Подтверждён ли ML-алгоритм расписания DotBot?
Нет: такое описание прежней версии статьи отозвано как неподтверждённое указанным руководством Moz.
Доказывает ли PTR с moz.com подлинность DotBot?
В проверенном руководстве такой официальный способ не описан. Прежний скрипт удалён; не давайте исключение в защите по подстроке домена.
Как замедлить добровольный обход?
Moz показывает Crawl-delay:10 и сообщает о перечитывании robots.txt при новом обходе индекса. Для немедленного контроля применяют проверенную серверную политику.
Подтверждены ли 0.087 визита на 1000 запросов?
Нет. Оценка и атрибуция Cloudflare Radar отозваны: отсутствуют проверяемый отчёт, период и методика.
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil