DotBot

DotBot — высокообъёмный, но в целом доброкачественный краулер: индустриальные классификаторы ботов прямо называют его «high-volume yet benign» (высокообъёмный, но безвредный) и рекомендуют включать его в allowlist систем управления ботами, а не блокировать по умолчанию. Понимание принципов его работы важно для каждого сайта, который заботится о своей репутации в SEO-инструментах, используемых маркетологами и конкурентами по всему миру.

1. Что такое DotBot

1.1 User-Agent строка

Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)

Обратите внимание: в строке User-Agent сохранилась ссылка на opensiteexplorer.org — устаревшее название инструмента, который теперь называется Link Explorer. Это историческое наследие: первый продукт Moz для анализа ссылок назывался Open Site Explorer, и хотя сам продукт давно переименован, ссылка в User-Agent осталась неизменной.

1.2 Кто стоит за DotBot

1.3 Moz управляет четырьмя ботами, а не одним

Как и у Ahrefs и Semrush, у Moz не один, а несколько отдельных краулеров, каждый со своим User-Agent токеном, что позволяет управлять их доступом независимо друг от друга. DotBot — основной и наиболее известный из них, отвечающий именно за построение индекса ссылок и расчёт Domain Authority / Page Authority. Остальные боты Moz обслуживают смежные задачи внутри экосистемы продуктов компании.

Практический вывод: блокировка только DotBot в robots.txt не гарантированно останавливает все автоматизированные обращения от Moz — если вы хотите полностью исключить взаимодействие с экосистемой Moz, стоит проверить полный список их User-Agent токенов в актуальной документации (moz.com/help/moz-procedures/crawlers/dotbot), а не ограничиваться только основным ботом.

1.4 Domain Authority — что строит DotBot

Обе метрики рассчитываются исключительно на основе данных индекса ссылок Mozscape, который непрерывно пополняет DotBot, обходя страницы и фиксируя структуру связей между ними. Важно понимать: Domain Authority — собственная метрика Moz, а не сигнал, который использует сама Google для ранжирования. Тем не менее она настолько широко принята в индустрии, что стала де-факто общим языком для обсуждения авторитетности сайтов между SEO-специалистами.

2. Как работает DotBot

2.1 Эволюция бота: от простой индексации к машинному обучению

DotBot прошёл значительную эволюцию с момента запуска. Ранние версии фокусировались на базовой индексации сайтов и обнаружении ссылок. По мере усложнения SEO-индустрии Moz обновила бота для более глубокого анализа качества контента, структуры сайта и ссылочных профилей. По состоянию на 2025–2026 годы DotBot использует продвинутые техники обхода и модели машинного обучения для эффективного сбора данных — алгоритм самостоятельно определяет, какие страницы посетить и как часто возвращаться, обучаясь на основе прошлых паттернов обхода и изменений на сайтах.

2.2 Этапы обхода

1. DotBot систематически обходит страницы интернета, переходя по обнаруженным гиперссылкам.
2. На каждой странице фиксируются исходящие и входящие ссылки, формируя структуру индекса Mozscape.
3. Анализируется контент страницы — качество, структура, метаданные.
4. Модель машинного обучения адаптирует частоту последующих визитов исходя из характеристик конкретного сайта и активности запросов пользователей через инструменты Moz.
5. Обновлённые данные становятся доступны в Link Explorer, Moz Pro и через Moz Links API.

2.3 Что DotBot анализирует

2.4 Частота обхода — адаптивная и зависящая от внешних факторов

Согласно документации индустриальных каталогов ботов, частота визитов DotBot варьируется в зависимости от нескольких факторов: авторитетности сайта, популярности его ссылочного профиля, показателей в выдаче, а также от того, отслеживается ли сайт активно клиентами Moz через их инструменты. Это означает, что вы не можете напрямую контролировать, как часто бот вас посещает — частота определяется алгоритмически и внешним спросом со стороны пользователей Moz, анализирующих именно ваш домен.

3. Польза и риски: взгляд с двух сторон

3.1 Преимущества разрешения DotBot

• Видимость в SEO-инструментах — ваш сайт остаётся актуальным в Domain Authority, Link Explorer и других продуктах Moz, которыми пользуются маркетологи, потенциальные партнёры и журналисты
• Обнаружение проблем — обход DotBot может выявить битые ссылки, дублированный контент, отсутствующие метаданные и другие технические проблемы, видимые через инструменты Moz
• Использование собственных данных — если вы сами клиент Moz, актуальный индекс позволяет получать точные рекомендации по своему сайту
• Отсутствие риска для приватности — бот официально не собирает персональные или чувствительные данные

3.2 Потенциальные сложности

• Объём трафика может быть значительным — SEO-краулеры нередко запрашивают каждую страницу сайта целиком, особенно при активном мониторинге несколькими клиентами Moz одновременно
• Параллельные обходы — если несколько разных пользователей Moz отслеживают один и тот же домен через свои аккаунты, это может создавать множественные одновременные волны запросов
• Индексация второстепенных страниц — бот может заходить на страницы, которые владелец сайта не считает приоритетными для внешнего анализа

4. Нагрузка на сервер

4.1 Репутация: высокий объём, но предсказуемое поведение

Индустриальные классификаторы ботов описывают DotBot как краулер, способный создавать ощутимую нагрузку именно за счёт объёма, а не агрессивности поведения — он, как правило, уважает robots.txt, отступает при превышении лимита скорости (rate limiting) и использует механизм повторных попыток с задержкой (retry/back-off) при временной недоступности страниц, что характеризует его как «вежливого» краулера в техническом смысле.

4.2 Параллельные обходы — главный источник скачков нагрузки

Один из ключевых факторов риска для производительности сервера — то, что несколько клиентов SEO-платформы могут одновременно анализировать один и тот же домен. Если ваш сайт активно отслеживается через Moz несколькими разными пользователями (например, и вашей собственной командой, и конкурентами, изучающими ваш ссылочный профиль), это может создавать параллельные волны запросов, суммарно создающие заметную нагрузку, даже если поведение каждого отдельного потока остаётся вежливым.

4.3 Минимальная отдача трафика — контекст из данных Cloudflare

Один из самых показательных параметров для оценки реальной ценности этого бота для сайта — соотношение «обходов к кликам». По данным, опирающимся на верифицированную статистику Cloudflare Radar, на каждые 1000 запросов DotBot сайт получает обратно в среднем всего около 0.087 человеческих визитов. Это значительно ниже даже скромных показателей других SEO-краулеров и заметно ниже показателей AI-краулеров для генеративного поиска — DotBot практически не приводит прямого реферального трафика, его ценность для сайта лежит исключительно в плоскости видимости в сторонних SEO-инструментах, а не в прямой посещаемости.

5. Обнаружение в логах

5.1 Как выглядит запись

# Стандартный запрос DotBot:
216.244.66.198 - - [09/May/2026:16:12:30 +0000] \
  "GET /blog/link-building-2026/ HTTP/1.1" \
  200 28432 "-" \
  "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"

5.2 Аналитика через grep

Найти все запросы DotBot:

grep -i 'dotbot' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'dotbot' access.log | wc -l

Топ обходимых страниц:

grep -i 'dotbot' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -30

HTTP-коды ответов:

grep -i 'dotbot' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Поиск параллельных волн обхода (несколько IP одновременно):

grep -i 'dotbot' access.log \
  | awk '{print $1}' | sort | uniq -c | sort -nr

Bandwidth, потребляемый ботом:

grep -i 'dotbot' access.log \
  | awk '{sum+=$10} END{print sum/1024/1024 " MB"}'

Live-мониторинг:

tail -f /var/log/nginx/access.log | grep --line-buffered -i 'dotbot'

5.3 Программная детекция (пример для серверных приложений)

# Python/Flask:
import re
from flask import request

def detect_dotbot():
    user_agent = request.headers.get('User-Agent', '')
    pattern = r'DotBot'
    if re.search(pattern, user_agent, re.IGNORECASE):
        return True
    return False

# PHP:
function detect_dotbot() {
    $user_agent = $_SERVER['HTTP_USER_AGENT'] ?? '';
    $pattern = '/DotBot/i';
    if (preg_match($pattern, $user_agent)) {
        error_log('DotBot detected from IP: ' . $_SERVER['REMOTE_ADDR']);
        return true;
    }
    return false;
}

5.4 Верификация подлинности

User-Agent легко подделывается, поэтому для надёжной идентификации рекомендуется дополнительная проверка через обратный DNS lookup — официальная рекомендация заключается в проверке, что хост резолвится в домен moz.com:

#!/bin/bash
IP=$1
HOST=$(host $IP | awk '{print $NF}')

if [[ $HOST == *moz.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  if [[ $FWD == $IP ]]; then
    echo "✔ Настоящий DotBot: $IP → $HOST"
  else
    echo "✖ DNS mismatch: $IP"
  fi
else
  echo "✖ Нет подтверждающей PTR-записи moz.com: $IP"
fi

Важная оговорка из индустриальной практики: строка User-Agent легко поддаётся спуфингу, тогда как принадлежность IP-адреса гораздо сложнее подделать — поэтому при любых сомнениях приоритет должен быть за проверкой IP/DNS, а не только за текстовым совпадением User-Agent.

6. Управление DotBot

6.1 Полная блокировка через robots.txt

User-agent: DotBot
Disallow: /

Последствие: блокировка DotBot не повлияет на позиции сайта в Google, Bing или Яндексе — этот бот не передаёт данные в алгоритмы поисковых систем. Эффект ограничится исключительно точностью данных о вашем сайте в продуктах Moz (Domain Authority, Page Authority, Link Explorer).

6.2 Рекомендуемый сбалансированный подход

Индустриальная рекомендация в большинстве случаев — не блокировать DotBot полностью, особенно если вы сами пользуетесь SEO-инструментами: блокировка одного из краулеров такого рода подрывает общую экосистему данных, на которую вы сами опираетесь при анализе конкурентов. Вместо полной блокировки рекомендуется применять более тонкие методы контроля:

User-agent: DotBot
Disallow: /admin/
Disallow: /private/
Disallow: /checkout/
Allow: /

6.3 Кеширование специально для DotBot (снижение нагрузки без блокировки)

# Nginx — отдавать кешированную версию страницы специально для DotBot,
# снижая нагрузку на бэкенд без потери видимости в индексе Moz:
location / {
    if ($http_user_agent ~* "DotBot") {
        add_header Cache-Control "public, max-age=3600";
        add_header X-Robots-Tag "noarchive";
    }
}

6.4 Блокировка через .htaccess (Apache)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} DotBot [NC]
RewriteRule .* - [F,L]

6.5 Rate limiting через Nginx (предпочтительная альтернатива полной блокировке)

map $http_user_agent $is_dotbot {
    default       0;
    "~*DotBot"    1;
}

limit_req_zone $is_dotbot zone=dotbot_limit:10m rate=2r/s;
location / {
    limit_req zone=dotbot_limit burst=10 nodelay;
}

6.6 Когда блокировка действительно оправдана

7. Диагностика проблем

7.1 Типичные проблемы и решения

7.2 Пошаговая диагностика

Шаг 1 — Проверить robots.txt:

curl https://example.com/robots.txt | grep -i 'dotbot'

Шаг 2 — Проверить доступность сайта для бота:

curl -A "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)" \
  -I https://example.com/
# Ожидается: HTTP/1.1 200 OK

Шаг 3 — Оценить долю трафика от бота:

echo "Всего запросов:"
wc -l access.log
echo "Запросов от DotBot:"
grep -ci 'dotbot' access.log

Шаг 4 — При сомнениях в легитимности конкретного IP — обратиться в Moz:

Email: help@moz.com
Документация: https://moz.com/help/moz-procedures/crawlers/dotbot

8. DotBot vs другие крупные SEO-краулеры

Контекст из реальных данных pbnshield: по статистике за март–май 2026 года, DotBot (зафиксированный под историческим именем платформы как «Moz/Open Site Explorer» категория в общей выборке SEO-краулеров) занимает позицию в общем диапазоне крупных ссылочных краулеров наряду с MJ12bot (#22, 0.6%) и AhrefsBot (#31, 0.3%) — точная доля варьируется в зависимости от методологии классификации конкретной аналитической системы, поскольку некоторые инструменты группируют исторические и текущие токены DotBot по-разному.

9. Рекомендуемая стратегия

✔ Главный принцип: DotBot — высокообъёмный, но технически вежливый краулер с минимальной прямой отдачей трафика. Решение о блокировке должно основываться на реальной нагрузке на ваш сервер, а не на опасениях по поводу конкурентного анализа — для большинства сайтов разрешение DotBot оправдано тем, что поддерживает общую SEO-экосистему данных.