SERankingBot в логах: чей это SEO-аудит вашего сайта

SERankingBot стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации от SE Ranking — известной SEO-платформы для отслеживания позиций, аудита сайтов и анализа обратных ссылок. Появление этого UA в access.log означает, что кто-то — не обязательно вы сами — запустил в SE Ranking проверку именно вашего домена.

1. Что такое SERankingBot

У SE Ranking на деле не один краулер, а как минимум два с разными задачами. SERankingBot — это бот встроенного инструмента «Аудит сайта» (Website Audit): любой пользователь SE Ranking может запустить сканирование произвольного домена, и инструмент по умолчанию использует именно этот UA (хотя в настройках аудита можно выбрать и другой User-Agent, включая имитацию Googlebot). Отдельно существует SERankingBacklinksBot — специализированный краулер для обнаружения обратных ссылок, с собственной документированной UA-строкой и политикой поведения.

2. Зачем SERankingBot приходит на сайт

Появление SERankingBot в access.log означает машинный доступ к сайту, а не пользовательскую сессию — и, что важно, инициатором может быть кто угодно: сам владелец сайта, SEO-агентство, работающее с доменом, или сторонний пользователь SE Ranking, который решил провести конкурентный аудит вашего сайта. По умолчанию, если конкретный crawl-delay не задан в robots.txt или файл недоступен, SERankingBacklinksBot обходит сайт с задержкой 3 секунды между запросами.

• Какие зоны чаще трогает: публичные URL по всему домену — при полноценном аудите инструмент проходит все страницы сайта независимо от выбранного UA;
• Что ищет: технические SEO-параметры (заголовки, мета-теги, статус-коды, структуру ссылок), а для бэклинк-краулера — конкретно исходящие и входящие ссылки;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и охватывает весь домен за один проход, а не отдельные страницы по интересу.

Типичный кейс: CDN-трафик дорожает, origin CPU нагружен рендерингом HTML. Фильтр по seranking показывает, что бот системно проходит по всему сайту, включая служебные и малопосещаемые разделы — это типично для полного аудита, а не для точечной проверки.

3. Нагрузка и риски именно для SERankingBot

Отдельной строки в публичной сводке top-bot TrafficVeil у seranking может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Поскольку инструмент «Аудит сайта» по умолчанию обходит весь домен, а не выборочные страницы, пик нагрузки от одного запуска аудита может быть заметнее, чем у точечных мониторинговых ботов — особенно если сайт большой, а аудит запущен с включённым JS-рендерингом.

4. Как найти SERankingBot в логах

Не ищите «просто ботов» — ищите конкретный токен seranking и рядом смотрите соседей по семейству SEO-краулеров.

# Базовый поиск по обоим ботам семейства
grep -iE "seranking|serankingbacklinksbot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "seranking" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "seranking" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "seranking" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "seranking|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт, и сам оператор прямо признаёт это уязвимым местом идентификации. Для SERankingBacklinksBot есть более надёжный способ — обратный DNS-запрос: подлинный IP бота должен резолвиться в поддомен *.seranking.com.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для SERankingBot

# Жёсткий запрет
User-agent: SERankingBot
Disallow: /

User-agent: SERankingBacklinksBot
Disallow: /

# Разрешить всё
User-agent: seranking
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: seranking
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

# Замедлить обход, не блокируя полностью (для SERankingBacklinksBot)
User-agent: SERankingBacklinksBot
Crawl-delay: 10

Важно: ставьте Disallow или 403 для seranking, если пользы нет. Ключевой нюанс именно для этого семейства — убедитесь, что ваш robots.txt в принципе доступен и отдаёт HTTP 200: если файл недоступен или возвращает другой статус, SERankingBacklinksBot по документации считает его несуществующим и обходит сайт без ограничений, как если бы правил не было вовсе.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "seranking") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=seranking:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "seranking") {
        limit_req zone=seranking burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} seranking [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите seranking / SERankingBot в ботах домена или в разделе /system/bots;
• Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
• Allow оставляйте только при явной пользе от SERankingBot — например, если сами используете SE Ranking для аудита собственного сайта;
• После изменения сверьте логи: хиты SERankingBot должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с SERankingBot

• Если пользы нет — Disallow/403 для seranking, если пользы нет;
• Если польза есть (вы сами используете сервис для аудита или отслеживания позиций) — Allow только при явной пользе от SERankingBot;
• Если нагрузка мешает, но полностью резать не хочется — для SERankingBacklinksBot доступна директива Crawl-delay, прежде чем переходить к жёсткому запрету;
• Убедитесь, что robots.txt в принципе доступен и отдаёт 200 OK — иначе часть правил для этого семейства ботов будет просто проигнорирована;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: обычно ничего критичного для SEO не теряете, если это не поисковик и не ваш собственный инструмент аудита.

8. С кем не путать SERankingBot

9. Стратегия allow/deny для SERankingBot