SERankingBacklinksBot: краулер, который официально не читает ничего, кроме ссылок

Официальная документация SE Ranking содержит редкую по конкретности гарантию: SERankingBacklinksBot не читает, не разбирает и не сохраняет ничего с посещаемых страниц, кроме самих ссылок. Никакие тексты, изображения, видео или другое содержимое страницы боту не нужны и не собираются — единственная цель обхода — построение графа того, кто на кого ссылается в открытом вебе. Это узкая, чётко очерченная задача, которая отличает бота от куда более широких по охвату собираемых данных backlink-краулеров вроде AhrefsBot.

Зачем вообще нужен такой узкоспециализированный краулер

SE Ranking — платформа SEO-аналитики, и один из её ключевых продуктов — база обратных ссылок (backlinks), которая нужна SEO-специалистам и агентствам для анализа собственного ссылочного профиля и профиля конкурентов. Чтобы такая база оставалась актуальной, кто-то должен систематически обходить открытый веб и фиксировать, какие сайты на какие ссылаются, — именно этим и занимается SERankingBacklinksBot, методично сканируя публично доступные сайты в поисках исходящих и входящих ссылок.

Важное уточнение: не путать с превью-ботами и с другим краулером SE Ranking

По официальному уточнению самой компании, в некоторых устаревших справочниках ботов SERankingBacklinksBot ошибочно относят к категории «превью ссылок / Open Graph» — это неверно: он не имеет отношения к генерации карточек предпросмотра для соцсетей или мессенджеров. Отдельно стоит не путать его с другим ботом того же вендора — SEBot-WA, который обслуживает совершенно другой продукт SE Ranking, Website Audit (технический аудит сайта), и верифицируется иначе — через обратный DNS на поддомены *.sr-srv.net, а не через официальный IP-фид backlink-краулера. Сама компания в официальных ответах пользователям прямо разделяет эти два инструмента и советует сверяться со строкой User-Agent, чтобы понять, какой именно из них создаёт трафик.

Параметры бота

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов serankingbacklinksbot на подключённых доменах составил порядка 4,8 млн за март–июнь 2026 года (март — около 397 тыс., апрель — около 710 тыс., май — около 2,6 млн, июнь — около 1,1 млн, обрезано 14-м числом). Заметный майский пик типичен для крупных backlink-краулеров: плотный, систематический обход ссылающихся страниц без роста конверсий на самом сайте. Это фоновый SEO-сбор, а не атака — при слабом хостинге разумнее начать с ограничения скорости, а не сразу с полной блокировки.

Как найти бота в логах и проверить подлинность

# Официальный токен
grep -i "SERankingBacklinksBot" /var/log/nginx/access.log

# Отделить от второго бота того же вендора
grep -iE "SERankingBacklinksBot|SEBot-WA" /var/log/nginx/access.log | \
  sed -n 's/.*"\([^"]*\)".*/\1/p' | sort | uniq -c | sort -rn

Сверка с официальным списком IP:

curl -s https://api.seranking.com/backlinks-bot-ips
curl -s "https://api.seranking.com/backlinks-bot-ips?txt=1"

Надёжная схема верификации — совпадение и токена в User-Agent, и IP из официального фида одновременно; одного лишь совпадения строки заголовка недостаточно, поскольку её может подделать любой сторонний скрипт.

Стоит ли блокировать

• если для сайта или его SEO-агентства важна актуальность данных в отчётах SE Ranking и связанных инструментах — стоит разрешить бота, при необходимости ограничив скорость через Crawl-Delay;
• если сайт не заинтересован в подобной видимости, а нагрузка ощутима, — можно ограничиться заметно более мягким rate-limit вместо полного запрета, поскольку блокировка не убирает уже собранные внешние упоминания ссылок на других сайтах-донорах, а лишь мешает боту обновлять данные напрямую с самого сайта;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это не поисковый краулер ни одной системы.

Как настроить robots.txt и сервер

Официальная рекомендация SE Ranking — сначала попробовать ограничение скорости, а не сразу полный запрет:

User-agent: SERankingBacklinksBot
Crawl-delay: 10

Частичное ограничение — закрыть служебные разделы, оставив остальной сайт доступным:

User-agent: SERankingBacklinksBot
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Allow: /

Полный запрет — отдельной секцией, не смешивая с правилами для SEBot-WA:

User-agent: SERankingBacklinksBot
Disallow: /

User-agent: SEBot-WA
Disallow: /

if ($http_user_agent ~* "SERankingBacklinksBot") {
    return 403;
}

Важно: robots.txt должен отдавать код ответа именно 200 — при любом другом статусе бот, по собственному описанию, посчитает файл отсутствующим и будет действовать так, будто ограничений нет вовсе.