DotBot

DotBot — высокообъёмный, но в целом доброкачественный краулер: индустриальные классификаторы ботов прямо называют его «high-volume yet benign» (высокообъёмный, но безвредный) и рекомендуют включать его в allowlist систем управления ботами, а не блокировать по умолчанию. Понимание принципов его работы важно для каждого сайта, который заботится о своей репутации в SEO-инструментах, используемых маркетологами и конкурентами по всему миру.

1. Что такое DotBot

1.1 User-Agent строка

Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)

Обратите внимание: в строке User-Agent сохранилась ссылка на opensiteexplorer.org — устаревшее название инструмента, который теперь называется Link Explorer. Это историческое наследие: первый продукт Moz для анализа ссылок назывался Open Site Explorer, и хотя сам продукт давно переименован, ссылка в User-Agent осталась неизменной.

1.2 Кто стоит за DotBot

Параметр	Значение
Оператор	Moz (изначально SEOmoz, Inc.)
Основной продукт	Индекс ссылок Mozscape, Domain Authority, Page Authority
Связанные инструменты	Link Explorer, Moz Pro, Moz Links API, Site Crawl
Контакт для вебмастеров	help@moz.com
Сбор персональных данных	Официально не собирает чувствительные или личные данные
Тип бота	SEO Crawler

1.3 Moz управляет четырьмя ботами, а не одним

Как и у Ahrefs и Semrush, у Moz не один, а несколько отдельных краулеров, каждый со своим User-Agent токеном, что позволяет управлять их доступом независимо друг от друга. DotBot — основной и наиболее известный из них, отвечающий именно за построение индекса ссылок и расчёт Domain Authority / Page Authority. Остальные боты Moz обслуживают смежные задачи внутри экосистемы продуктов компании.

Практический вывод: блокировка только DotBot в robots.txt не гарантированно останавливает все автоматизированные обращения от Moz — если вы хотите полностью исключить взаимодействие с экосистемой Moz, стоит проверить полный список их User-Agent токенов в актуальной документации (moz.com/help/moz-procedures/crawlers/dotbot), а не ограничиваться только основным ботом.

1.4 Domain Authority — что строит DotBot

Метрика	Что измеряет
Domain Authority (DA)	Прогнозируемая способность всего домена ранжироваться в поисковой выдаче, по шкале от 1 до 100
Page Authority (PA)	Аналогичный показатель, но для отдельной конкретной страницы, а не всего домена
Назначение	Сравнительная оценка — не абсолютный сигнал ранжирования Google, а инструмент сопоставления силы доменов между собой

Обе метрики рассчитываются исключительно на основе данных индекса ссылок Mozscape, который непрерывно пополняет DotBot, обходя страницы и фиксируя структуру связей между ними. Важно понимать: Domain Authority — собственная метрика Moz, а не сигнал, который использует сама Google для ранжирования. Тем не менее она настолько широко принята в индустрии, что стала де-факто общим языком для обсуждения авторитетности сайтов между SEO-специалистами.

2. Как работает DotBot

2.1 Эволюция бота: от простой индексации к машинному обучению

DotBot прошёл значительную эволюцию с момента запуска. Ранние версии фокусировались на базовой индексации сайтов и обнаружении ссылок. По мере усложнения SEO-индустрии Moz обновила бота для более глубокого анализа качества контента, структуры сайта и ссылочных профилей. По состоянию на 2025–2026 годы DotBot использует продвинутые техники обхода и модели машинного обучения для эффективного сбора данных — алгоритм самостоятельно определяет, какие страницы посетить и как часто возвращаться, обучаясь на основе прошлых паттернов обхода и изменений на сайтах.

2.2 Этапы обхода

1. DotBot систематически обходит страницы интернета, переходя по обнаруженным гиперссылкам.
2. На каждой странице фиксируются исходящие и входящие ссылки, формируя структуру индекса Mozscape.
3. Анализируется контент страницы — качество, структура, метаданные.
4. Модель машинного обучения адаптирует частоту последующих визитов исходя из характеристик конкретного сайта и активности запросов пользователей через инструменты Moz.
5. Обновлённые данные становятся доступны в Link Explorer, Moz Pro и через Moz Links API.

2.3 Что DotBot анализирует

Элемент	Что извлекается	Важность
Исходящие и входящие ссылки	Построение индекса Mozscape	⭐⭐⭐⭐⭐ Главная задача
Domain Authority / Page Authority сигналы	Расчёт фирменных метрик авторитетности	⭐⭐⭐⭐⭐ Критически важно
Качество и структура контента	Дополняет ссылочный анализ контекстом	⭐⭐⭐⭐ Очень важно
Технические проблемы (битые ссылки, дубли)	Данные для Site Crawl и SEO-рекомендаций	⭐⭐⭐⭐ Очень важно
Метаданные страниц	Полнота технического аудита	⭐⭐⭐ Важно
Персональные/чувствительные данные	Официально не собираются	Не релевантно

2.4 Частота обхода — адаптивная и зависящая от внешних факторов

Согласно документации индустриальных каталогов ботов, частота визитов DotBot варьируется в зависимости от нескольких факторов: авторитетности сайта, популярности его ссылочного профиля, показателей в выдаче, а также от того, отслеживается ли сайт активно клиентами Moz через их инструменты. Это означает, что вы не можете напрямую контролировать, как часто бот вас посещает — частота определяется алгоритмически и внешним спросом со стороны пользователей Moz, анализирующих именно ваш домен.

3. Польза и риски: взгляд с двух сторон

3.1 Преимущества разрешения DotBot

• Видимость в SEO-инструментах — ваш сайт остаётся актуальным в Domain Authority, Link Explorer и других продуктах Moz, которыми пользуются маркетологи, потенциальные партнёры и журналисты
• Обнаружение проблем — обход DotBot может выявить битые ссылки, дублированный контент, отсутствующие метаданные и другие технические проблемы, видимые через инструменты Moz
• Использование собственных данных — если вы сами клиент Moz, актуальный индекс позволяет получать точные рекомендации по своему сайту
• Отсутствие риска для приватности — бот официально не собирает персональные или чувствительные данные

3.2 Потенциальные сложности

• Объём трафика может быть значительным — SEO-краулеры нередко запрашивают каждую страницу сайта целиком, особенно при активном мониторинге несколькими клиентами Moz одновременно
• Параллельные обходы — если несколько разных пользователей Moz отслеживают один и тот же домен через свои аккаунты, это может создавать множественные одновременные волны запросов
• Индексация второстепенных страниц — бот может заходить на страницы, которые владелец сайта не считает приоритетными для внешнего анализа

4. Нагрузка на сервер

4.1 Репутация: высокий объём, но предсказуемое поведение

Индустриальные классификаторы ботов описывают DotBot как краулер, способный создавать ощутимую нагрузку именно за счёт объёма, а не агрессивности поведения — он, как правило, уважает robots.txt, отступает при превышении лимита скорости (rate limiting) и использует механизм повторных попыток с задержкой (retry/back-off) при временной недоступности страниц, что характеризует его как «вежливого» краулера в техническом смысле.

4.2 Параллельные обходы — главный источник скачков нагрузки

Один из ключевых факторов риска для производительности сервера — то, что несколько клиентов SEO-платформы могут одновременно анализировать один и тот же домен. Если ваш сайт активно отслеживается через Moz несколькими разными пользователями (например, и вашей собственной командой, и конкурентами, изучающими ваш ссылочный профиль), это может создавать параллельные волны запросов, суммарно создающие заметную нагрузку, даже если поведение каждого отдельного потока остаётся вежливым.

4.3 Минимальная отдача трафика — контекст из данных Cloudflare

Один из самых показательных параметров для оценки реальной ценности этого бота для сайта — соотношение «обходов к кликам». По данным, опирающимся на верифицированную статистику Cloudflare Radar, на каждые 1000 запросов DotBot сайт получает обратно в среднем всего около 0.087 человеческих визитов. Это значительно ниже даже скромных показателей других SEO-краулеров и заметно ниже показателей AI-краулеров для генеративного поиска — DotBot практически не приводит прямого реферального трафика, его ценность для сайта лежит исключительно в плоскости видимости в сторонних SEO-инструментах, а не в прямой посещаемости.

5. Обнаружение в логах

5.1 Как выглядит запись

# Стандартный запрос DotBot:
216.244.66.198 - - [09/May/2026:16:12:30 +0000] \
  "GET /blog/link-building-2026/ HTTP/1.1" \
  200 28432 "-" \
  "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"

5.2 Аналитика через grep

Найти все запросы DotBot:

grep -i 'dotbot' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'dotbot' access.log | wc -l

Топ обходимых страниц:

grep -i 'dotbot' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -30

HTTP-коды ответов:

grep -i 'dotbot' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Поиск параллельных волн обхода (несколько IP одновременно):

grep -i 'dotbot' access.log \
  | awk '{print $1}' | sort | uniq -c | sort -nr

Bandwidth, потребляемый ботом:

grep -i 'dotbot' access.log \
  | awk '{sum+=$10} END{print sum/1024/1024 " MB"}'

Live-мониторинг:

tail -f /var/log/nginx/access.log | grep --line-buffered -i 'dotbot'

5.3 Программная детекция (пример для серверных приложений)

# Python/Flask:
import re
from flask import request

def detect_dotbot():
    user_agent = request.headers.get('User-Agent', '')
    pattern = r'DotBot'
    if re.search(pattern, user_agent, re.IGNORECASE):
        return True
    return False

# PHP:
function detect_dotbot() {
    $user_agent = $_SERVER['HTTP_USER_AGENT'] ?? '';
    $pattern = '/DotBot/i';
    if (preg_match($pattern, $user_agent)) {
        error_log('DotBot detected from IP: ' . $_SERVER['REMOTE_ADDR']);
        return true;
    }
    return false;
}

5.4 Верификация подлинности

User-Agent легко подделывается, поэтому для надёжной идентификации рекомендуется дополнительная проверка через обратный DNS lookup — официальная рекомендация заключается в проверке, что хост резолвится в домен moz.com:

#!/bin/bash
IP=$1
HOST=$(host $IP | awk '{print $NF}')

if [[ $HOST == *moz.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  if [[ $FWD == $IP ]]; then
    echo "✔ Настоящий DotBot: $IP → $HOST"
  else
    echo "✖ DNS mismatch: $IP"
  fi
else
  echo "✖ Нет подтверждающей PTR-записи moz.com: $IP"
fi

Важная оговорка из индустриальной практики: строка User-Agent легко поддаётся спуфингу, тогда как принадлежность IP-адреса гораздо сложнее подделать — поэтому при любых сомнениях приоритет должен быть за проверкой IP/DNS, а не только за текстовым совпадением User-Agent.

6. Управление DotBot

6.1 Полная блокировка через robots.txt

User-agent: DotBot
Disallow: /

Последствие: блокировка DotBot не повлияет на позиции сайта в Google, Bing или Яндексе — этот бот не передаёт данные в алгоритмы поисковых систем. Эффект ограничится исключительно точностью данных о вашем сайте в продуктах Moz (Domain Authority, Page Authority, Link Explorer).

6.2 Рекомендуемый сбалансированный подход

Индустриальная рекомендация в большинстве случаев — не блокировать DotBot полностью, особенно если вы сами пользуетесь SEO-инструментами: блокировка одного из краулеров такого рода подрывает общую экосистему данных, на которую вы сами опираетесь при анализе конкурентов. Вместо полной блокировки рекомендуется применять более тонкие методы контроля:

User-agent: DotBot
Disallow: /admin/
Disallow: /private/
Disallow: /checkout/
Allow: /

6.3 Кеширование специально для DotBot (снижение нагрузки без блокировки)

# Nginx — отдавать кешированную версию страницы специально для DotBot,
# снижая нагрузку на бэкенд без потери видимости в индексе Moz:
location / {
    if ($http_user_agent ~* "DotBot") {
        add_header Cache-Control "public, max-age=3600";
        add_header X-Robots-Tag "noarchive";
    }
}

6.4 Блокировка через .htaccess (Apache)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} DotBot [NC]
RewriteRule .* - [F,L]

6.5 Rate limiting через Nginx (предпочтительная альтернатива полной блокировке)

map $http_user_agent $is_dotbot {
    default       0;
    "~*DotBot"    1;
}

limit_req_zone $is_dotbot zone=dotbot_limit:10m rate=2r/s;
location / {
    limit_req zone=dotbot_limit burst=10 nodelay;
}

6.6 Когда блокировка действительно оправдана

Сценарий	Рекомендация
Сервер испытывает чрезмерную нагрузку от параллельных обходов	Rate limiting предпочтительнее полной блокировки
Вы сами активно используете SEO-инструменты (свои или сторонние)	Не блокировать — подрывает общую экосистему данных
Закрытые/служебные разделы сайта	Точечный Disallow, а не блокировка всего бота
Принципиальное желание скрыть ссылочный профиль от любого внешнего анализа	Полная блокировка — обоснованное решение

7. Диагностика проблем

7.1 Типичные проблемы и решения

Проблема	Причина	Решение
DotBot создаёт заметную нагрузку	Несколько клиентов Moz анализируют сайт параллельно	Rate limiting вместо полной блокировки
Данные Domain Authority устарели	Бот заблокирован в robots.txt	Проверить и скорректировать правила, дать боту доступ
Подозрение на подделку User-Agent	Скрейперы маскируются под известный SEO-бот	Верифицировать IP через reverse DNS к moz.com
Бот посещает нежелательные/служебные разделы	Нет точечных правил в robots.txt	Добавить Disallow для конкретных путей
Непредсказуемая частота визитов	Алгоритм машинного обучения адаптирует расписание самостоятельно	Это нормальное поведение — частота не контролируется напрямую владельцем сайта

7.2 Пошаговая диагностика

Шаг 1 — Проверить robots.txt:

curl https://example.com/robots.txt | grep -i 'dotbot'

Шаг 2 — Проверить доступность сайта для бота:

curl -A "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)" \
  -I https://example.com/
# Ожидается: HTTP/1.1 200 OK

Шаг 3 — Оценить долю трафика от бота:

echo "Всего запросов:"
wc -l access.log
echo "Запросов от DotBot:"
grep -ci 'dotbot' access.log

Шаг 4 — При сомнениях в легитимности конкретного IP — обратиться в Moz:

Email: help@moz.com
Документация: https://moz.com/help/moz-procedures/crawlers/dotbot

8. DotBot vs другие крупные SEO-краулеры

Краулер	Компания	Фирменная метрика	Crawl-to-click (на 1000 запросов)	Допускает rate limiting
DotBot	Moz	Domain Authority, Page Authority	~0.087 визитов	✔ Отступает при превышении лимита
AhrefsBot	Ahrefs	Domain Rating, URL Rating	Не публикуется официально	✔ Поддерживает Crawl-delay
SemrushBot	Semrush	Authority Score	Не публикуется официально	✔ Поддерживает Crawl-delay (до 10 сек)
MJ12bot	Majestic	Trust Flow, Citation Flow	Не публикуется официально	✔ Поддерживает Crawl-delay

Контекст из реальных данных pbnshield: по статистике за март–май 2026 года, DotBot (зафиксированный под историческим именем платформы как «Moz/Open Site Explorer» категория в общей выборке SEO-краулеров) занимает позицию в общем диапазоне крупных ссылочных краулеров наряду с MJ12bot (#22, 0.6%) и AhrefsBot (#31, 0.3%) — точная доля варьируется в зависимости от методологии классификации конкретной аналитической системы, поскольку некоторые инструменты группируют исторические и текущие токены DotBot по-разному.

9. Рекомендуемая стратегия

✔ Главный принцип: DotBot — высокообъёмный, но технически вежливый краулер с минимальной прямой отдачей трафика. Решение о блокировке должно основываться на реальной нагрузке на ваш сервер, а не на опасениях по поводу конкурентного анализа — для большинства сайтов разрешение DotBot оправдано тем, что поддерживает общую SEO-экосистему данных.

Задача	Решение
Снизить нагрузку без блокировки	Rate limiting через Nginx + кеширование для DotBot
Полностью исключить сайт из индекса Moz	User-agent: DotBot / Disallow: /
Защитить служебные разделы	Точечный Disallow для /admin/, /private/, /checkout/
Оценить реальное влияние на сервер	grep + расчёт доли от общего трафика, поиск параллельных IP
Верифицировать подлинность подозрительного трафика	Reverse DNS lookup → moz.com (приоритет над текстовым UA)
Узнавать о визитах в реальном времени	Подключить систему мониторинга агентов (Agent Analytics или аналог)
Решить нестандартную проблему	Обратиться на help@moz.com