Barkrowler обходит даже то, что помечено «не смотри сюда»

Barkrowler — SEO-краулер французской компании Babbar (babbar.tech). Он обходит веб, чтобы обновлять граф ссылок и метаданных, на котором строятся метрики и инструменты Babbar для SEO-сообщества. Это не поисковый робот Google/Yandex и не превью-бот соцсетей: блокировка не роняет выдачу, но убирает (или устаревает) ваш сайт в данных Babbar. Полезный нюанс с официальной страницы: полный HTML страниц они не хранят в базе — в основном ссылки и метаинформация; номинативные персональные данные тоже не кладут. При этом бот повторно ходит по 301 и 404, проверяя, не временный ли это сбой — в логах это выглядит как «лишние» запросы к мёртвым URL.

Что такое Barkrowler

Особый нюанс: обходит даже NoFollow-ссылки

В отличие от поисковых систем, которые обычно не учитывают ссылки с атрибутом rel="nofollow" при ранжировании, Barkrowler сознательно продолжает обходить и такие ссылки — чтобы обеспечить максимально полный сбор данных для своего графа. Если удивляетесь, почему бот заходит по ссылкам, которые вы считали «невидимыми» для краулеров, — это осознанное поведение по конструкции, а не ошибка.

О чём говорит рост частоты визитов

Домен, который обходит Barkrowler, попадает в рейтинговые, ссылочные и конкурентные данные, которые Babbar затем продаёт своим клиентам как SEO-инструмент. По независимому наблюдению, частота визитов растёт именно тогда, когда кто-то из клиентов Babbar активно отслеживает ваш сайт или сайты ваших конкурентов через их инструменты. То есть заметный всплеск обхода можно читать как косвенный сигнал: кто-то прямо сейчас анализирует вашу нишу через сервисы Babbar — не обязательно тревожный, но информативный факт.

Barkrowler vs другие SEO / backlink-краулеры

Практика: Babbar — отдельный вендор. Бан Barkrowler не останавливает Ahrefs/Semrush/SE Ranking. Настраивайте по UA (и при желании по префиксам), не «всех SEO разом» без списка исключений.

Нагрузка на сервер

По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) паттерн barkrowler набрал порядка 1,7 млн запросов (март ~148 тыс., апрель ~394 тыс., май ~973 тыс., июнь ~197 тыс.). Пик в мае типичен для SEO-harvest: много URL со ссылками, без конверсий. Официально заявлена умеренная частота (секунды между хитами), но на слабом origin плюс повторные заходы на 301/404 это всё равно заметно. WAF/плагины иногда помечают Barkrowler как атаку — сам Babbar пишет, что бота могут временно забанить «как DDoS» или из-за URL с session-параметрами. Свежесть: перед жёстким баном сверьте июль–август в аналитике TrafficVeil; сводка обрывается на 14.06.2026.

Обнаружение в логах и верификация

# Токен UA
grep -i "Barkrowler" /var/log/nginx/access.log

# URL из официальной документации
grep -i "babbar.tech/crawler" /var/log/nginx/access.log

# Топ URL и IP
grep -i "Barkrowler" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
grep -i "Barkrowler" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# rDNS (ожидаемый суффикс babbar.eu)
host 
# или
dig -x  +short

Официальные IP-префиксы

curl -s https://www.babbar.tech/barkrowler-ip-ranges.json

На момент проверки в JSON:

217.113.194.0/24
154.54.249.0/24

Файл содержит creationTime — ориентир, когда оператор обновлял список. Не хардкодьте префиксы навсегда: обновляйте feed по cron. Надёжная схема: UA содержит Barkrowler + IP в официальных префиксах или rDNS оканчивается на babbar.eu (лучше оба признака). Одного UA недостаточно (spoofing). Оговорка по сети: в публичном BGP у AS210743 иногда видны диапазоны шире официального JSON (например 217.113.196.0/24, IPv6). Для allowlist опирайтесь на JSON Babbar; для расследования «похожих» хитов смотрите ASN/rDNS отдельно.

robots.txt

Официальные примеры Babbar (токен в robots — barkrowler, регистр обычно неважен):

# Замедлить
User-agent: barkrowler
Crawl-delay: 10

# Закрыть служебное (пример Babbar — wp-admin)
User-agent: barkrowler
Disallow: /wp-admin/
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Allow: /

# Полный запрет
User-agent: barkrowler
Disallow: /

Отдельная секция на Barkrowler. Не ставьте широкий User-agent: * / Disallow: /, думая, что «отрежете только Babbar». Если Disallow не соблюдается — Babbar просит связаться через их каналы; параллельно дублируйте политику на сервере/TrafficVeil.

Управление на уровне сервера

Nginx

if ($http_user_agent ~* "Barkrowler") {
    return 403;
}

# Мягкий вариант (если нужны данные в Babbar, но origin слабый)
limit_req_zone $binary_remote_addr zone=barkrowler:10m rate=6r/m;
location / {
    if ($http_user_agent ~* "Barkrowler") {
        limit_req zone=barkrowler burst=12 nodelay;
    }
}

При allowlist по сети можно ограничить доступ префиксами из JSON (217.113.194.0/24, 154.54.249.0/24) — и всё равно обновлять список. Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Barkrowler [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите barkrowler / Barkrowler в ботах домена или /system/bots
• При нагрузке без пользы от Babbar — запретить или rate-limit; на Google/Yandex это не влияет
• При allow — сверяйте IP с barkrowler-ip-ranges.json и/или rDNS *.babbar.eu
• Не смешивайте с AhrefsBot / SemrushBot / SERankingBacklinksBot в одно правило без необходимости

Рекомендации

• Нужна видимость в Babbar / агентских отчётах на их API — Allow + при нагрузке Crawl-delay или rate-limit
• Бот только жрёт ресурсы, Babbar не используете — Disallow + 403 / deny в TrafficVeil
• WAF режет Barkrowler как «атаку» — либо whitelist по префиксам/rDNS (если хотите график), либо явный deny и не тратьте время на false-positive
• Много хитов на 404/редиректы — нормальное поведение по документации; лечите цепочки редиректов и мёртвые URL в sitemap, а не только баньте бота
• Обновляйте IP JSON по cron, если делаете allowlist/denylist по сети
• Блок не стирает ваш профиль полностью: ссылки всё равно находят на донорах в чужих графах

С кем не путать

Сводная стратегия