deadlinkchecker в логах — это не превью-бот соцсетей, а инструмент проверки битых ссылок сервиса Dead Link Checker (оператор DLC Websites, Великобритания). Он не забирает Open Graph-теги для карточки в мессенджере, а сканирует переданную страницу и рекурсивно проверяет найденные на ней ссылки на работоспособность — вплоть до десяти уровней вглубь сайта. Чаще всего за этим ботом стоит не посторонний сервис, а сам владелец сайта или его SEO-агентство, которые заказали проверку.
1. Что такое deadlinkchecker на самом деле
Dead Link Checker — публичный онлайн-инструмент для поиска неработающих ссылок (404, 500 и подобные ошибки) на сайте. Пользователь вручную или по расписанию (функция Auto Check) запускает проверку конкретного URL; сканер обходит найденные на странице ссылки и, если они ведут на страницы того же сайта, продолжает обход рекурсивно. Быстрая проверка ограничена одной страницей, полная — до 10 уровней вложенности.
Официальный User-Agent, который использует сервис при сканировании — www.deadlinkchecker.com, часто в составе полной строки вида www.deadlinkchecker.com Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/... Safari/537.36. В некоторых интеграциях также встречается краткий токен deadlinkchecker без домена — при поиске в логах стоит проверять оба варианта.
| Параметр | Значение |
| Название | Dead Link Checker (deadlinkchecker) |
| Функция | Проверка сайта на битые/неработающие ссылки — не сбор Open Graph для превью |
| User-Agent / паттерн | www.deadlinkchecker.com (основной, официальный) и deadlinkchecker (краткий вариант в некоторых логах) |
| Оператор | DLC Websites, Великобритания |
| Кто обычно инициирует | Чаще всего сам владелец сайта или его SEO-агентство — вручную или по расписанию через Auto Check |
| robots.txt | Официально задокументировано соблюдение — как Disallow, так и Crawl-delay |
| Известный IP сканера | 74.208.42.172 (указан в официальном FAQ; проверяйте актуальность — адрес мог измениться) |
| Категория в энциклопедии TrafficVeil | Требует уточнения — по факту это сканер-монитор битых ссылок, а не превью-фетчер соцсетей (см. раздел 8) |
2. Зачем deadlinkchecker приходит на сайт
Обращение почти всегда связано с чьей-то конкретной задачей, а не с фоновым автономным обходом:
- кто-то вручную запустил разовую проверку через форму на deadlinkchecker.com — сканируется одна переданная страница (быстрая проверка) или сайт вглубь до 10 уровней (полная проверка);
- у сайта настроена автоматическая периодическая проверка (Auto Check) по подписке — тогда визиты повторяются по расписанию, которое задал сам заказчик;
- агентство или SEO-специалист проверяет не только клиентский сайт, но иногда и сайты конкурентов — это официально заявленный сценарий использования сервиса.
Типичный кейс: на сайте фиксируется всплеск запросов от www.deadlinkchecker.com, который последовательно проходит по внутренним ссылкам — это не признак вредоносного сканирования, а штатная полная проверка на битые ссылки, вероятно инициированная владельцем сайта или его подрядчиком.
3. Нагрузка и риски
Главный практический риск — не в мусорном трафике, а в самой рекурсивной природе полной проверки: при глубине до 10 уровней сканер может за один заход открыть заметное число страниц сайта, что стоит учитывать при анализе пиков RPS.
Второй момент — прежде чем блокировать, стоит выяснить, не является ли это собственным инструментом мониторинга владельца сайта или его агентства: блокировка в этом случае просто скроет от них же данные о битых ссылках, которые они сами заказали.
Если бот действительно посторонний (например, проверку сайта запустил кто-то извне — конкурент анализирует ваши ссылки), риска для контента и данных нет: сканер не индексирует контент для дальнейшей публикации, а только проверяет статус ссылок.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти deadlinkchecker в логах
# Базовый поиск — оба варианта UA
grep -iE "deadlinkchecker|www\.deadlinkchecker\.com" /var/log/nginx/access.log
# Топ URL, которые проверяет сканер
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA — сверяйте с известным 74.208.42.172
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — разовый всплеск или регулярное расписание Auto Check
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Глубина обхода — признак полной vs быстрой проверки
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l
Верификация. Строку UA подделать может любой скрипт. Проверяйте связку UA + IP — известный адрес сканера 74.208.42.172, но у сервиса могут быть и другие адреса, поэтому окончательное решение стоит принимать по совокупности UA, IP и характерного рекурсивного паттерна обхода ссылок:
IP="74.208.42.172"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для deadlinkchecker
Сервис официально документирует полную поддержку robots.txt, включая директиву Crawl-delay — редкий случай, когда стоит использовать оба механизма вместе, а не только Disallow. Официальный пример от самого DLC Websites использует полный токен с доменом:
# Полный запрет
User-agent: www.deadlinkchecker.com
Disallow: /
# Замедлить сканирование вместо запрета — 1 секунда между запросами
User-agent: www.deadlinkchecker.com
Disallow: /
Crawl-delay: 1
# Закрыть только чувствительные разделы, остальное оставить доступным для проверки
User-agent: www.deadlinkchecker.com
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /
На случай встречающегося краткого токена без домена стоит продублировать то же правило и для него:
User-agent: deadlinkchecker
Disallow: /admin/
Disallow: /cart/
Allow: /
6. Блокировка вручную и через TrafficVeil
Nginx:
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "deadlinkchecker") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_5cf3f3b34967_key {
default "";
"~*deadlinkchecker" $binary_remote_addr;
}
limit_req_zone $tv_ng_5cf3f3b34967_key zone=tv_ng_5cf3f3b34967:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_5cf3f3b34967 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} deadlinkchecker [NC]
RewriteRule ^ - [F,L]
TrafficVeil:
- перед блокировкой уточните у команды/клиента, не заказана ли проверка битых ссылок сознательно — иначе рискуете отключить чужой полезный мониторинг;
- для разовых внешних проверок (например, от конкурентов) — rate-limit достаточно, полный deny избыточен, поскольку риска для данных нет;
- если сервис используется штатно, полезнее настроить Crawl-delay в robots.txt, чем полностью открывать доступ без ограничений;
- после изменения сверьте логи: хиты deadlinkchecker должны уйти в блок/лимит, а поисковые роботы остаться без изменений.
7. Что делать: короткий алгоритм
- Проверка заказана вами или вашим агентством — не блокируйте, при желании ограничьте частоту через Crawl-delay в robots.txt;
- Источник неясен, но нагрузка минимальна — оставьте как есть, риска для контента нет;
- Полная проверка регулярно создаёт заметные пики RPS — используйте Crawl-delay вместо полного запрета, чтобы не терять данные о битых ссылках;
- Сканирование точно постороннее и мешает — Disallow в robots.txt с полным токеном
www.deadlinkchecker.comплюс запрет в TrafficVeil, если UA его игнорирует; - Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot и YandexBot заодно.
8. С кем не путать deadlinkchecker
Ключевая поправка к исходной классификации: deadlinkchecker — это сканер-монитор битых ссылок, а не бот превью ссылок в соцсетях. Он не читает Open Graph-теги для карточки и не привязан к разовому шерингу ссылки пользователем — в отличие от ботов ниже, которые действительно относятся к этой категории:
| Бот / сосед | Кластер | UA | Комментарий |
| Facebook External Hit | Превью ссылок в соцсетях | facebookexternalhit | легитимный, настоящий OG-фетчер под карточку в Facebook |
| ArenaUnfurlBot | Превью ссылок в соцсетях | arenaunfurlbot | легитимный |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | bufferlinkpreviewbot | легитимный |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | clickuplinkunfurler | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный, ближе по функции к deadlinkchecker — тоже мониторинг, а не превью |
9. Стратегия allow/deny для deadlinkchecker
| Ситуация | Действие |
| Проверка заказана владельцем сайта или его агентством | Allow, при желании — Crawl-delay в robots.txt для снижения нагрузки |
| Источник неизвестен, нагрузка незначительна | Не трогать — сканер не сохраняет и не republishing контент |
| Регулярные пики RPS от полной проверки (Auto Check) | Crawl-delay вместо Disallow, чтобы не терять данные о битых ссылках |
| Точно посторонний и мешает | Disallow с полным токеном www.deadlinkchecker.com + запрет в TrafficVeil |
| Подозрение на подделку UA | Сверять с известным IP 74.208.42.172 и паттерном рекурсивного обхода ссылок |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
deadlinkchecker действительно собирает данные для карточки превью ссылки?
Кто чаще всего запускает эти проверки?
На сколько уровней вглубь сайта может зайти deadlinkchecker?
Соблюдает ли deadlinkchecker правила robots.txt?
Стоит ли сразу блокировать deadlinkchecker при высокой нагрузке?
Какой User-Agent на самом деле искать в логах?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.