Deadlinkchecker в логах: сканер битых ссылок, а не превью-бот

deadlinkchecker в логах — это не превью-бот соцсетей, а инструмент проверки битых ссылок сервиса Dead Link Checker (оператор DLC Websites, Великобритания). Он не забирает Open Graph-теги для карточки в мессенджере, а сканирует переданную страницу и рекурсивно проверяет найденные на ней ссылки на работоспособность — вплоть до десяти уровней вглубь сайта. Чаще всего за этим ботом стоит не посторонний сервис, а сам владелец сайта или его SEO-агентство, которые заказали проверку.

1. Что такое deadlinkchecker на самом деле

Dead Link Checker — публичный онлайн-инструмент для поиска неработающих ссылок (404, 500 и подобные ошибки) на сайте. Пользователь вручную или по расписанию (функция Auto Check) запускает проверку конкретного URL; сканер обходит найденные на странице ссылки и, если они ведут на страницы того же сайта, продолжает обход рекурсивно. Быстрая проверка ограничена одной страницей, полная — до 10 уровней вложенности.

Официальный User-Agent, который использует сервис при сканировании — www.deadlinkchecker.com, часто в составе полной строки вида www.deadlinkchecker.com Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/... Safari/537.36. В некоторых интеграциях также встречается краткий токен deadlinkchecker без домена — при поиске в логах стоит проверять оба варианта.

2. Зачем deadlinkchecker приходит на сайт

Обращение почти всегда связано с чьей-то конкретной задачей, а не с фоновым автономным обходом:

• кто-то вручную запустил разовую проверку через форму на deadlinkchecker.com — сканируется одна переданная страница (быстрая проверка) или сайт вглубь до 10 уровней (полная проверка);
• у сайта настроена автоматическая периодическая проверка (Auto Check) по подписке — тогда визиты повторяются по расписанию, которое задал сам заказчик;
• агентство или SEO-специалист проверяет не только клиентский сайт, но иногда и сайты конкурентов — это официально заявленный сценарий использования сервиса.

Типичный кейс: на сайте фиксируется всплеск запросов от www.deadlinkchecker.com, который последовательно проходит по внутренним ссылкам — это не признак вредоносного сканирования, а штатная полная проверка на битые ссылки, вероятно инициированная владельцем сайта или его подрядчиком.

3. Нагрузка и риски

Главный практический риск — не в мусорном трафике, а в самой рекурсивной природе полной проверки: при глубине до 10 уровней сканер может за один заход открыть заметное число страниц сайта, что стоит учитывать при анализе пиков RPS.

Второй момент — прежде чем блокировать, стоит выяснить, не является ли это собственным инструментом мониторинга владельца сайта или его агентства: блокировка в этом случае просто скроет от них же данные о битых ссылках, которые они сами заказали.

Если бот действительно посторонний (например, проверку сайта запустил кто-то извне — конкурент анализирует ваши ссылки), риска для контента и данных нет: сканер не индексирует контент для дальнейшей публикации, а только проверяет статус ссылок.

4. Как найти deadlinkchecker в логах

# Базовый поиск — оба варианта UA
grep -iE "deadlinkchecker|www\.deadlinkchecker\.com" /var/log/nginx/access.log

# Топ URL, которые проверяет сканер
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — сверяйте с известным 74.208.42.172
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — разовый всплеск или регулярное расписание Auto Check
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Глубина обхода — признак полной vs быстрой проверки
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l

Верификация. Строку UA подделать может любой скрипт. Проверяйте связку UA + IP — известный адрес сканера 74.208.42.172, но у сервиса могут быть и другие адреса, поэтому окончательное решение стоит принимать по совокупности UA, IP и характерного рекурсивного паттерна обхода ссылок:

IP="74.208.42.172"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для deadlinkchecker

Сервис официально документирует полную поддержку robots.txt, включая директиву Crawl-delay — редкий случай, когда стоит использовать оба механизма вместе, а не только Disallow. Официальный пример от самого DLC Websites использует полный токен с доменом:

# Полный запрет
User-agent: www.deadlinkchecker.com
Disallow: /

# Замедлить сканирование вместо запрета — 1 секунда между запросами
User-agent: www.deadlinkchecker.com
Disallow: /
Crawl-delay: 1

# Закрыть только чувствительные разделы, остальное оставить доступным для проверки
User-agent: www.deadlinkchecker.com
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /

На случай встречающегося краткого токена без домена стоит продублировать то же правило и для него:

User-agent: deadlinkchecker
Disallow: /admin/
Disallow: /cart/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "deadlinkchecker") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=deadlinkchecker:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "deadlinkchecker") {
        limit_req zone=deadlinkchecker burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} deadlinkchecker [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• перед блокировкой уточните у команды/клиента, не заказана ли проверка битых ссылок сознательно — иначе рискуете отключить чужой полезный мониторинг;
• для разовых внешних проверок (например, от конкурентов) — rate-limit достаточно, полный deny избыточен, поскольку риска для данных нет;
• если сервис используется штатно, полезнее настроить Crawl-delay в robots.txt, чем полностью открывать доступ без ограничений;
• после изменения сверьте логи: хиты deadlinkchecker должны уйти в блок/лимит, а поисковые роботы остаться без изменений.

7. Что делать: короткий алгоритм

• Проверка заказана вами или вашим агентством — не блокируйте, при желании ограничьте частоту через Crawl-delay в robots.txt;
• Источник неясен, но нагрузка минимальна — оставьте как есть, риска для контента нет;
• Полная проверка регулярно создаёт заметные пики RPS — используйте Crawl-delay вместо полного запрета, чтобы не терять данные о битых ссылках;
• Сканирование точно постороннее и мешает — Disallow в robots.txt с полным токеном www.deadlinkchecker.com плюс запрет в TrafficVeil, если UA его игнорирует;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot и YandexBot заодно.

8. С кем не путать deadlinkchecker

Ключевая поправка к исходной классификации: deadlinkchecker — это сканер-монитор битых ссылок, а не бот превью ссылок в соцсетях. Он не читает Open Graph-теги для карточки и не привязан к разовому шерингу ссылки пользователем — в отличие от ботов ниже, которые действительно относятся к этой категории:

9. Стратегия allow/deny для deadlinkchecker