Rogerbot: краулер Moz, чьи данные питают Domain Authority — стоит ли это учитывать при блокировке

rogerbot принадлежит Moz — одной из старейших и самых узнаваемых компаний на рынке SEO-инструментов (бывшая SEOmoz), а не безымянному стороннему сервису. Именно данные, которые собирает этот краулер, лежат в основе таких широко используемых в отрасли метрик, как Domain Authority и Page Authority, — показателей, на которые ссылаются тысячи SEO-специалистов по всему миру при оценке качества и потенциала ранжирования сайтов.

Что именно делает бот

rogerbot выполняет два разных типа обхода: регулярный обход всего доступного веба для обнаружения новых и обновлённых ссылок, и отдельный «свежий» обход конкретно недавно обнаруженных или повторно запрошенных URL. Собранные данные питают целый набор продуктов Moz — построение ссылочного индекса для анализа беклинков, расчёт метрик авторитетности домена и страницы, аудит сайта в Moz Pro (битые ссылки, дублирующийся контент, отсутствующие мета-теги) и инструменты отслеживания позиций по ключевым словам. По официальным заявлениям компании, данные используются исключительно внутри продуктовой линейки Moz: контент не продаётся третьим лицам и не используется для обучения сторонних AI-моделей — сырой контент хранится только на время индексирующего прохода, а не постоянно.

Параметры бота

Почему это меняет практический расчёт по сравнению с шаблоном «нежелательный»

Ключевое отличие от произвольного неопознанного SEO-краулера — то, что данные rogerbot собирает не только для клиентов Moz, отслеживающих собственный сайт, а для всей отрасли: те же метрики Domain Authority и Page Authority, построенные на этом индексе, широко используются маркетологами и SEO-специалистами по всей отрасли как ориентир при оценке чужих сайтов — в том числе потенциальных партнёров по обмену ссылками, доноров для гостевых публикаций или конкурентов. Даже сайт, который сам никогда не пользовался Moz, косвенно выигрывает от присутствия в этом индексе — его метрики становятся видны специалистам, оценивающим его авторитетность со стороны.

Сколько трафика он может создавать

Объём нагрузки от rogerbot бывает заметным: SEO-краулеры такого типа нередко запрашивают практически каждую страницу сайта, а при параллельном аудите со стороны нескольких клиентов Moz одновременно нагрузка может суммироваться. Это обычно не постоянный ровный фон, а периодические более плотные проходы, привязанные к циклам обновления индекса или к моменту, когда кто-то из клиентов Moz запускает аудит именно этого домена.

Как найти бота в логах

grep -i "rogerbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "rogerbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Важная оговорка по верификации: Moz не публикует официального метода подтверждения подлинности запроса (в отличие, например, от Google или Bing с их IP-списками и rDNS-проверкой), поэтому совпадение строки User-Agent в логах — лишь основание предполагать, что запрос от настоящего rogerbot, а не строгое доказательство.

Стоит ли блокировать

• если для сайта важна видимость в широко используемых отраслевых метриках (Domain Authority, Page Authority) и присутствие в инструментах, которыми пользуются потенциальные партнёры и оценщики авторитетности сайта, — разумно разрешить бота, ограничив при этом скорость обхода директивой Crawl-Delay, если нагрузка становится заметной;
• если сайт не заинтересован в подобной видимости или нагрузка от параллельных клиентских аудитов ощутима для сервера — можно ограничиться rate-limit вместо полного запрета, чтобы не терять присутствие в индексе совсем;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие rogerbot не влияет напрямую — это не поисковый краулер ни одной из систем.

Как настроить robots.txt и сервер

Ограничение скорости обхода без полной блокировки — рекомендованный самим Moz вариант при агрессивном поведении:

User-agent: rogerbot
Crawl-delay: 10

Частичное ограничение — закрыть конкретные разделы, оставив остальной сайт доступным для индексации:

User-agent: rogerbot
Disallow: /private/
Disallow: /members-only/
Allow: /

Полный запрет, если присутствие в индексе Moz не имеет значения для сайта:

User-agent: rogerbot
Disallow: /

if ($http_user_agent ~* "rogerbot") {
    return 403;
}