DotBot собирает данные для ссылочного индекса Moz. Его следует отличать от Rogerbot, которым Moz выполняет аудит сайта. Слова «доброкачественный» и узнаваемый User-Agent сами по себе не подтверждают отправителя и не дают оснований автоматически отключать защиту.
Назначение и различие агентов: руководство Moz по DotBot. Указанное положение сверено 19.11.2026.
1. Что такое DotBot
1.1 User-Agent строка
Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)
Обратите внимание: в строке User-Agent сохранилась ссылка на opensiteexplorer.org — устаревшее название инструмента, который теперь называется Link Explorer. Это историческое наследие: первый продукт Moz для анализа ссылок назывался Open Site Explorer, и хотя сам продукт давно переименован, ссылка в User-Agent осталась неизменной.
1.2 Кто стоит за DotBot
| Параметр | Значение |
|---|---|
| Оператор | Moz (изначально SEOmoz, Inc.) |
| Основной продукт | Индекс ссылок Mozscape, Domain Authority, Page Authority |
| Связанные инструменты | Link Explorer, Links в Moz Pro, Moz Links API; Site Crawl относится к Rogerbot |
| Контакт для вебмастеров | help@moz.com |
| Сбор персональных данных | Гарантия отсутствия таких данных здесь не подтверждена; приватные URL защищайте авторизацией |
| Тип бота | SEO Crawler |
1.3 DotBot и Rogerbot выполняют разные задачи
Moz прямо различает DotBot для ссылочного индекса и Rogerbot для Site Crawl. Из этого не следует фиксированное число всех агентов компании. Правило для DotBot не является правилом для Rogerbot.
Сверены описанные Moz роли двух агентов. Указанное положение сверено 19.11.2026.
1.4 Domain Authority — что строит DotBot
| Метрика | Что измеряет |
|---|---|
| Domain Authority (DA) | Прогнозируемая способность всего домена ранжироваться в поисковой выдаче, по шкале от 1 до 100 |
| Page Authority (PA) | Аналогичный показатель, но для отдельной конкретной страницы, а не всего домена |
| Назначение | Сравнительная оценка — не абсолютный сигнал ранжирования Google, а инструмент сопоставления силы доменов между собой |
Domain Authority и Page Authority — фирменные метрики Moz, связанные со ссылочными данными. Точная формула и полный перечень её входов в этом проходе не проверялись; описание алгоритма как «исключительно данных DotBot» отозвано. Эти показатели не следует выдавать за внутреннюю оценку Google.
2. Как работает DotBot
2.1 Что известно об алгоритме обхода
Руководство Moz объясняет назначение DotBot, но не подтверждает изложенную в прежней версии статьи модель машинного обучения, которая якобы выбирает каждый URL и расписание. Это описание алгоритма отозвано; частоту обращений своего сайта нужно измерять по логам.
2.2 Этапы обхода
DotBot получает веб-данные для Moz Link Index, доступного через Link Explorer, ссылки в Moz Pro и Moz Links API. Не приписывайте ему весь технический аудит Site Crawl: оператор относит эту задачу к Rogerbot.
Moz: Link Index Crawler и отличие от Rogerbot. Указанное положение сверено 19.11.2026.
2.3 Что DotBot анализирует
| Агент | Подтверждённая задача |
|---|---|
| DotBot | Веб-данные для Moz Link Index |
| Rogerbot | Аудит сайта Moz Pro Site Crawl |
Это разграничение ролей из документации оператора, а не перечень всех собираемых полей или гарантия приватности. Указанное положение сверено 19.11.2026.
2.4 Частота и задержка применения robots.txt
Универсальная частота, зависимость от числа клиентов Moz и ML-расписание здесь не подтверждены. Для своего сайта измеряйте обращения в единицу времени и нагрузку на origin. Оператор показывает Crawl-delay:10 как пример замедления, а изменение robots.txt DotBot перечитывает при новом обходе индекса, поэтому мгновенное применение не обещается.
Moz: Slow Dotbot Down и перечитывание robots.txt. Указанное положение сверено 19.11.2026.
3. Польза и риски: взгляд с двух сторон
3.1 Преимущества разрешения DotBot
Разрешение обхода помогает пополнять ссылочный индекс Moz, если этот инструмент нужен вашей команде или партнёрам. Это не гарантия роста позиций, полноты индекса или безопасности любого запроса с таким User-Agent. Закрытые сведения защищают авторизацией, а не репутацией краулера.
3.2 Потенциальные сложности
Возможные расходы — запросы к ресурсоёмким URL, исходящий трафик и нагрузка на origin. Несколько IP в логе не доказывают, что несколько клиентов Moz заказали независимые обходы. Сначала проверьте реальную картину обращений, затем выбирайте ограничения.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Нагрузка на сервер
4.1 Документированная политика и измеряемая нагрузка
Moz документирует соблюдение robots.txt и пример Crawl-delay. Из этого не следует гарантированное back-off-поведение при любом ответе сервера или безопасная нагрузка для каждого сайта. Измеряйте ошибки и время ответа до и после изменения правил.
Заявленная оператором политика DotBot. Указанное положение сверено 19.11.2026.
4.2 Как разбирать всплески запросов
Рост запросов может иметь разные причины. Сопоставьте время, IP, URL и HTTP-статусы; проверьте другие процессы и кеш. Вывод о причине нагрузки по одному имени бота будет преждевременным.
4.3 Граница подтверждения оценки отдачи трафика
Прежняя оценка 0.087 человеческого визита на 1000 запросов и атрибуция Cloudflare Radar удалены: не указан воспроизводимый отчёт, период и метод сопоставления. Оценивать отдачу можно по своим проверенным переходам и затратам за одинаковый период; обращение краулера и пользовательский переход — разные события.
5. Обнаружение в логах
5.1 Как выглядит запись
# Иллюстрация формата записи, не наблюдение реального инцидента:
198.51.100.20 - - [09/May/2026:16:12:30 +0000] \
"GET /blog/link-building-2026/ HTTP/1.1" \
200 28432 "-" \
"Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"
5.2 Аналитика через grep
Найти все запросы DotBot:
grep -i 'dotbot' /var/log/nginx/access.log
Подсчитать количество запросов:
grep -i 'dotbot' access.log | wc -l
Топ обходимых страниц:
grep -i 'dotbot' access.log \
| awk '{print $7}' | sort | uniq -c | sort -nr | head -30
HTTP-коды ответов:
grep -i 'dotbot' access.log \
| awk '{print $9}' | sort | uniq -c | sort -nr
Поиск параллельных волн обхода (несколько IP одновременно):
grep -i 'dotbot' access.log \
| awk '{print $1}' | sort | uniq -c | sort -nr
Bandwidth, потребляемый ботом:
grep -i 'dotbot' access.log \
| awk '{sum+=$10} END{print sum/1024/1024 " MB"}'
Live-мониторинг:
tail -f /var/log/nginx/access.log | grep --line-buffered -i 'dotbot'
5.3 Программная детекция (пример для серверных приложений)
# Python/Flask:
import re
from flask import request
def detect_dotbot():
user_agent = request.headers.get('User-Agent', '')
pattern = r'DotBot'
if re.search(pattern, user_agent, re.IGNORECASE):
return True
return False
# PHP:
function detect_dotbot() {
$user_agent = $_SERVER['HTTP_USER_AGENT'] ?? '';
$pattern = '/DotBot/i';
if (preg_match($pattern, $user_agent)) {
error_log('DotBot detected from IP: ' . $_SERVER['REMOTE_ADDR']);
return true;
}
return false;
}
5.4 Верификация подлинности
На проверенной странице Moz о DotBot не описан официальный алгоритм проверки через PTR→moz.com или публичный IP feed. Поэтому прежний скрипт с таким названием не является подтверждением подлинности и удалён. Логи помогают оценить поведение; для исключения из защиты нужно отдельное подтверждение оператора или согласование с поддержкой.
Проверка документации относится к указанной странице; отсутствие метода на ней не доказывает, что никакие другие способы никогда не публиковались. Указанное положение сверено 19.11.2026.
6. Управление DotBot
6.1 Полная блокировка через robots.txt
User-agent: DotBot
Disallow: /
Запрет добровольного обхода влияет на последующее получение данных DotBot. Он не гарантирует немедленное удаление ранее найденных сведений или определённое изменение показателей сайта. Поисковое ранжирование и ссылочный индекс Moz — разные системы.
6.2 Рекомендуемый сбалансированный подход
Выбирайте разрешение, замедление или запрет по пользе ссылочного индекса для своей команды и измеренной нагрузке. Пример Moz для добровольного замедления:
User-agent: DotBot
Crawl-delay: 10
Moz: Slow Dotbot Down; применяется при перечитывании robots.txt, без обещания мгновенного результата. Указанное положение сверено 19.11.2026.
6.3 Кеширование публичных ответов без утечки персональных данных
Один заголовок Cache-Control не включает серверный proxy_cache. Для публичных страниц кеширование настраивают отдельно, учитывая ключ, cookies, авторизацию, Cache-Control и Vary. Прежний пример, который выставлял public лишь по User-Agent, удалён: так можно ошибочно объявить персональный ответ общедоступным.
Механизм proxy_cache NGINX и ограничения RFC 9111, §3. Указанное положение сверено 19.11.2026.
6.4 Блокировка через .htaccess (Apache)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} DotBot [NC]
RewriteRule .* - [F,L]
6.5 Rate limiting через Nginx (предпочтительная альтернатива полной блокировке)
# Пример: map и limit_req_zone находятся в http {};
# location — внутри нужного server {}. Порог иллюстративный.
map $http_user_agent $dotbot_example_key {
default "";
"~*DotBot" $binary_remote_addr;
}
limit_req_zone $dotbot_example_key zone=dotbot_example:10m rate=1r/s;
server {
# Дополните реальными listen, server_name и обработчиком сайта.
location / {
limit_req zone=dotbot_example burst=5;
# Здесь остаётся существующий обработчик приложения.
}
}
По документации limit_req запросы с пустым ключом не учитываются; поэтому остальные User-Agent не попадают в общий счётчик. map задаётся в http, limit_req — в http/server/location, а не внутри if. Это лимит по IP для заявленного токена, не подтверждение оператора и не защита от смены IP/UA. Сначала проверьте конфигурацию nginx -t и на тестовой площадке; за доверенным прокси отдельно настройте восстановление клиентского IP. Указанное положение сверено 19.11.2026.
6.6 Когда блокировка действительно оправдана
| Сценарий | Рекомендация |
|---|---|
| Сервер испытывает чрезмерную нагрузку от параллельных обходов | Rate limiting предпочтительнее полной блокировки |
| Вы сами активно используете SEO-инструменты (свои или сторонние) | Решение по измеренной нагрузке и пользе для своей команды |
| Закрытые/служебные разделы сайта | Авторизация для закрытых URL; Disallow управляет добровольным обходом |
| Желание ограничить последующий обход именно DotBot | Правило для DotBot не удаляет исторические данные и не запрещает всех других клиентов |
7. Диагностика проблем
7.1 Типичные проблемы и решения
| Проблема | Причина | Решение |
|---|---|---|
| DotBot создаёт заметную нагрузку | Причина требует сопоставления логов и нагрузки | Rate limiting вместо полной блокировки |
| Данные Domain Authority устарели | Возможный фактор — ограничение обхода; причина требует проверки | Проверить и скорректировать правила, дать боту доступ |
| Подозрение на подделку User-Agent | Скрейперы маскируются под известный SEO-бот | Не выдавать исключение по недокументированному PTR; обратиться в Moz |
| Бот посещает нежелательные/служебные разделы | Нет точечных правил в robots.txt | Добавить Disallow для конкретных путей |
| Непредсказуемая частота визитов | Причина по имени бота не установлена | Измерить нагрузку; использовать robots.txt и серверные ограничения по проверенной политике |
7.2 Пошаговая диагностика
Шаг 1 — Проверить robots.txt:
curl https://example.com/robots.txt | grep -i 'dotbot'
Шаг 2 — Проверить доступность сайта для бота:
curl -A "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)" \
-I https://example.com/
# Ожидается: HTTP/1.1 200 OK
Шаг 3 — Оценить долю трафика от бота:
echo "Всего запросов:"
wc -l access.log
echo "Запросов от DotBot:"
grep -ci 'dotbot' access.log
Шаг 4 — При сомнениях в легитимности конкретного IP — обратиться в Moz:
Email: help@moz.com
Документация: https://moz.com/help/moz-procedures/crawlers/dotbot
8. Сравнение с другими SEO-краулерами: границы данных
У каждого оператора своя политика обхода. В этой проверке подтверждены назначение DotBot и пример Crawl-delay10 у Moz; сравнительный crawl-to-click, неподтверждённые доли pbnshield и пределы соседних краулеров отозваны. Для отдельных политик используйте материалы о MJ12bot, AhrefsBot и SemrushBot.
9. Рекомендуемая стратегия
Главный принцип: учитывайте пользу ссылочного индекса и измеренную нагрузку своего сайта. Универсальная рекомендация разрешить или запретить весь трафик с этим токеном не заменяет проверку отправителя.
| Задача | Решение |
|---|---|
| Снизить нагрузку без блокировки | Rate limiting через Nginx + кеширование для DotBot |
| Попросить DotBot прекратить будущий обход | User-agent: DotBot / Disallow: / |
| Защитить служебные разделы | Авторизация для приватных URL; robots.txt лишь управляет добровольным обходом |
| Оценить реальное влияние на сервер | grep + расчёт доли от общего трафика, поиск параллельных IP |
| Верифицировать подлинность подозрительного трафика | Отдельно подтвердить оператора; UA и PTR-подстрока не дают доказательства |
| Узнавать о визитах в реальном времени | Подключить систему мониторинга агентов (Agent Analytics или аналог) |
| Решить нестандартную проблему | Обратиться на help@moz.com |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Чем DotBot отличается от Rogerbot?
Подтверждён ли ML-алгоритм расписания DotBot?
Доказывает ли PTR с moz.com подлинность DotBot?
Как замедлить добровольный обход?
Подтверждены ли 0.087 визита на 1000 запросов?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.