BrokenLinksBot: редкий случай подробно задокументированной вежливости — и как не спутать с созвучным конкурентом

BrokenLinksBot принадлежит brokenlinks.io (оператор — Two Phase LLC) и решает узкую техническую задачу: обходит страницы, переходит по обнаруженным ссылкам и проверяет, не ведут ли они на несуществующие или недоступные адреса (404 и другие мёртвые URL). Собранные данные используются коммерчески — как SaaS-инструмент для SEO-специалистов и агентств, которым нужно систематически выявлять битые ссылки на клиентских сайтах.

Важная развилка: с каким именно ботом вы имеете дело

Прежде чем принимать решение, стоит убедиться, что это действительно BrokenLinksBot, а не похожий по функции, но совершенно другой продукт с почти созвучным названием — BrokenLinkCheckerBot с домена brokenlinkchecker.io. Это разные операторы с разной политикой: у BrokenLinkCheckerBot режим единичной точечной проверки одной ссылки, по имеющимся данным, может не учитывать robots.txt вовсе, тогда как у BrokenLinksBot (heroku) поведение прямо противоположное — полное и задокументированное соблюдение стандарта исключений для роботов. Спутать эти два имени — типичная ошибка при быстрой настройке правил блокировки по неполному совпадению строки.

Параметры бота

Почему технические детали здесь особенно ценны для решения

По сравнению с большинством неопознанных SEO- и AI-краулеров этой серии, у BrokenLinksBot необычно подробно задокументировано именно вежливое поведение: явный лимит скорости на уровне домена, автоматическое замедление при признаках перегрузки сервера, поддержка стандартной директивы Crawl-delay и разумные сроки кеширования robots.txt. Это снижает типичный для категории «прочие краулеры и сервисы» риск — «тихую», но постоянную фоновую нагрузку без возможности договориться о правилах через стандартные механизмы. Здесь механизм именно такой возможности прямо предусмотрен и задокументирован оператором.

Сколько трафика он создаёт

По сводке TrafficVeil, паттерн запросов brokenlinksbot на подключённых доменах составил порядка 4 тысяч. При заявленном ограничении не более 1 запроса в секунду на домен и наличии автоматического backoff при признаках проблем на сервере, это ожидаемо умеренный и предсказуемый объём.

Как найти бота в логах и проверить подлинность

grep -i "BrokenLinksBot" /var/log/nginx/access.log

host <IP>
# ожидаемый результат — поддомен вида crawlerN.brokenlinks.io

Стоит ли блокировать

• если сайт (или его SEO-агентство) сам использует brokenlinks.io для аудита собственных ссылок — бот стоит явно разрешить, при необходимости настроив Crawl-delay под возможности сервера;
• если сайт не желает, чтобы его текст и ссылочная структура попадали в чужую коммерческую базу данных, даже при добросовестном и умеренном поведении бота, — полный запрет обоснован и не потребует дополнительных мер, поскольку бот официально соблюдает robots.txt;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет.

Как настроить robots.txt

Полный запрет:

User-agent: BrokenLinksBot
Disallow: /

Замедление вместо полного запрета, если нагрузка от разрешённого бота всё же нежелательна при пиковых значениях:

User-agent: BrokenLinksBot
Crawl-Delay: 10

Поскольку бот официально следует стандарту исключений для роботов, дополнительная блокировка на уровне сервера в большинстве случаев избыточна — но при необходимости гарантированного результата раньше окна кеширования robots.txt (до 24–30 дней) её можно продублировать:

if ($http_user_agent ~* "BrokenLinksBot") {
    return 403;
}