deadlinkchecker в логах — это не превью-бот соцсетей, а инструмент проверки битых ссылок сервиса Dead Link Checker (оператор DLC Websites, Великобритания). Он не забирает Open Graph-теги для карточки в мессенджере, а сканирует переданную страницу и рекурсивно проверяет найденные на ней ссылки на работоспособность — вплоть до десяти уровней вглубь сайта. Чаще всего за этим ботом стоит не посторонний сервис, а сам владелец сайта или его SEO-агентство, которые заказали проверку.
1. Что такое deadlinkchecker на самом деле
Dead Link Checker — публичный онлайн-инструмент для поиска неработающих ссылок (404, 500 и подобные ошибки) на сайте. Пользователь вручную или по расписанию (функция Auto Check) запускает проверку конкретного URL; сканер обходит найденные на странице ссылки и, если они ведут на страницы того же сайта, продолжает обход рекурсивно. Быстрая проверка ограничена одной страницей, полная — до 10 уровней вложенности.
Официальный User-Agent, который использует сервис при сканировании — www.deadlinkchecker.com, часто в составе полной строки вида www.deadlinkchecker.com Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/... Safari/537.36. В некоторых интеграциях также встречается краткий токен deadlinkchecker без домена — при поиске в логах стоит проверять оба варианта.
| Параметр | Значение |
| Название | Dead Link Checker (deadlinkchecker) |
| Функция | Проверка сайта на битые/неработающие ссылки — не сбор Open Graph для превью |
| User-Agent / паттерн | www.deadlinkchecker.com (основной, официальный) и deadlinkchecker (краткий вариант в некоторых логах) |
| Оператор | DLC Websites, Великобритания |
| Кто обычно инициирует | Чаще всего сам владелец сайта или его SEO-агентство — вручную или по расписанию через Auto Check |
| robots.txt | Официально задокументировано соблюдение — как Disallow, так и Crawl-delay |
| Известный IP сканера | 74.208.42.172 (указан в официальном FAQ; проверяйте актуальность — адрес мог измениться) |
| Категория в энциклопедии TrafficVeil | Требует уточнения — по факту это сканер-монитор битых ссылок, а не превью-фетчер соцсетей (см. раздел 8) |
2. Зачем deadlinkchecker приходит на сайт
Обращение почти всегда связано с чьей-то конкретной задачей, а не с фоновым автономным обходом:
- кто-то вручную запустил разовую проверку через форму на deadlinkchecker.com — сканируется одна переданная страница (быстрая проверка) или сайт вглубь до 10 уровней (полная проверка);
- у сайта настроена автоматическая периодическая проверка (Auto Check) по подписке — тогда визиты повторяются по расписанию, которое задал сам заказчик;
- агентство или SEO-специалист проверяет не только клиентский сайт, но иногда и сайты конкурентов — это официально заявленный сценарий использования сервиса.
Типичный кейс: на сайте фиксируется всплеск запросов от www.deadlinkchecker.com, который последовательно проходит по внутренним ссылкам — это не признак вредоносного сканирования, а штатная полная проверка на битые ссылки, вероятно инициированная владельцем сайта или его подрядчиком.
3. Нагрузка и риски
Главный практический риск — не в мусорном трафике, а в самой рекурсивной природе полной проверки: при глубине до 10 уровней сканер может за один заход открыть заметное число страниц сайта, что стоит учитывать при анализе пиков RPS.
Второй момент — прежде чем блокировать, стоит выяснить, не является ли это собственным инструментом мониторинга владельца сайта или его агентства: блокировка в этом случае просто скроет от них же данные о битых ссылках, которые они сами заказали.
Если бот действительно посторонний (например, проверку сайта запустил кто-то извне — конкурент анализирует ваши ссылки), риска для контента и данных нет: сканер не индексирует контент для дальнейшей публикации, а только проверяет статус ссылок.
4. Как найти deadlinkchecker в логах
# Базовый поиск — оба варианта UA
grep -iE "deadlinkchecker|www\.deadlinkchecker\.com" /var/log/nginx/access.log
# Топ URL, которые проверяет сканер
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA — сверяйте с известным 74.208.42.172
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — разовый всплеск или регулярное расписание Auto Check
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Глубина обхода — признак полной vs быстрой проверки
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -lВерификация. Строку UA подделать может любой скрипт. Проверяйте связку UA + IP — известный адрес сканера 74.208.42.172, но у сервиса могут быть и другие адреса, поэтому окончательное решение стоит принимать по совокупности UA, IP и характерного рекурсивного паттерна обхода ссылок:
IP="74.208.42.172"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для deadlinkchecker
Сервис официально документирует полную поддержку robots.txt, включая директиву Crawl-delay — редкий случай, когда стоит использовать оба механизма вместе, а не только Disallow. Официальный пример от самого DLC Websites использует полный токен с доменом:
# Полный запрет
User-agent: www.deadlinkchecker.com
Disallow: /
# Замедлить сканирование вместо запрета — 1 секунда между запросами
User-agent: www.deadlinkchecker.com
Disallow: /
Crawl-delay: 1
# Закрыть только чувствительные разделы, остальное оставить доступным для проверки
User-agent: www.deadlinkchecker.com
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /На случай встречающегося краткого токена без домена стоит продублировать то же правило и для него:
User-agent: deadlinkchecker
Disallow: /admin/
Disallow: /cart/
Allow: /6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "deadlinkchecker") {
return 403;
}
limit_req_zone $binary_remote_addr zone=deadlinkchecker:10m rate=10r/m;
location / {
if ($http_user_agent ~* "deadlinkchecker") {
limit_req zone=deadlinkchecker burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} deadlinkchecker [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- перед блокировкой уточните у команды/клиента, не заказана ли проверка битых ссылок сознательно — иначе рискуете отключить чужой полезный мониторинг;
- для разовых внешних проверок (например, от конкурентов) — rate-limit достаточно, полный deny избыточен, поскольку риска для данных нет;
- если сервис используется штатно, полезнее настроить Crawl-delay в robots.txt, чем полностью открывать доступ без ограничений;
- после изменения сверьте логи: хиты deadlinkchecker должны уйти в блок/лимит, а поисковые роботы остаться без изменений.
7. Что делать: короткий алгоритм
- Проверка заказана вами или вашим агентством — не блокируйте, при желании ограничьте частоту через Crawl-delay в robots.txt;
- Источник неясен, но нагрузка минимальна — оставьте как есть, риска для контента нет;
- Полная проверка регулярно создаёт заметные пики RPS — используйте Crawl-delay вместо полного запрета, чтобы не терять данные о битых ссылках;
- Сканирование точно постороннее и мешает — Disallow в robots.txt с полным токеном
www.deadlinkchecker.comплюс запрет в TrafficVeil, если UA его игнорирует; - Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot и YandexBot заодно.
8. С кем не путать deadlinkchecker
Ключевая поправка к исходной классификации: deadlinkchecker — это сканер-монитор битых ссылок, а не бот превью ссылок в соцсетях. Он не читает Open Graph-теги для карточки и не привязан к разовому шерингу ссылки пользователем — в отличие от ботов ниже, которые действительно относятся к этой категории:
| Бот / сосед | Кластер | UA | Комментарий |
| Facebook External Hit | Превью ссылок в соцсетях | facebookexternalhit | легитимный, настоящий OG-фетчер под карточку в Facebook |
| ArenaUnfurlBot | Превью ссылок в соцсетях | arenaunfurlbot | легитимный |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | bufferlinkpreviewbot | легитимный |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | clickuplinkunfurler | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный, ближе по функции к deadlinkchecker — тоже мониторинг, а не превью |
9. Стратегия allow/deny для deadlinkchecker
| Ситуация | Действие |
| Проверка заказана владельцем сайта или его агентством | Allow, при желании — Crawl-delay в robots.txt для снижения нагрузки |
| Источник неизвестен, нагрузка незначительна | Не трогать — сканер не сохраняет и не republishing контент |
| Регулярные пики RPS от полной проверки (Auto Check) | Crawl-delay вместо Disallow, чтобы не терять данные о битых ссылках |
| Точно посторонний и мешает | Disallow с полным токеном www.deadlinkchecker.com + запрет в TrafficVeil |
| Подозрение на подделку UA | Сверять с известным IP 74.208.42.172 и паттерном рекурсивного обхода ссылок |