Боты7 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

Deadlinkchecker в логах: сканер битых ссылок, а не превью-бот

Несмотря на соседство с превью-ботами соцсетей, deadlinkchecker на деле — инструмент DLC Websites для поиска неработающих ссылок, который рекурсивно обходит страницы сайта и проверяет каждую ссылку на 404/500. Разбираемся, чем это отличается от привычных OG-фетчеров, кто обычно стоит за такими визитами и как настроить доступ через robots.txt с поддержкой Crawl-delay.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота deadlinkchecker: легитимный превью ссылок в соцсетях

deadlinkchecker в логах — это не превью-бот соцсетей, а инструмент проверки битых ссылок сервиса Dead Link Checker (оператор DLC Websites, Великобритания). Он не забирает Open Graph-теги для карточки в мессенджере, а сканирует переданную страницу и рекурсивно проверяет найденные на ней ссылки на работоспособность — вплоть до десяти уровней вглубь сайта. Чаще всего за этим ботом стоит не посторонний сервис, а сам владелец сайта или его SEO-агентство, которые заказали проверку.

1. Что такое deadlinkchecker на самом деле

Dead Link Checker — публичный онлайн-инструмент для поиска неработающих ссылок (404, 500 и подобные ошибки) на сайте. Пользователь вручную или по расписанию (функция Auto Check) запускает проверку конкретного URL; сканер обходит найденные на странице ссылки и, если они ведут на страницы того же сайта, продолжает обход рекурсивно. Быстрая проверка ограничена одной страницей, полная — до 10 уровней вложенности.

Официальный User-Agent, который использует сервис при сканировании — www.deadlinkchecker.com, часто в составе полной строки вида www.deadlinkchecker.com Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/... Safari/537.36. В некоторых интеграциях также встречается краткий токен deadlinkchecker без домена — при поиске в логах стоит проверять оба варианта.

Параметр Значение
Название Dead Link Checker (deadlinkchecker)
Функция Проверка сайта на битые/неработающие ссылки — не сбор Open Graph для превью
User-Agent / паттерн www.deadlinkchecker.com (основной, официальный) и deadlinkchecker (краткий вариант в некоторых логах)
Оператор DLC Websites, Великобритания
Кто обычно инициирует Чаще всего сам владелец сайта или его SEO-агентство — вручную или по расписанию через Auto Check
robots.txt Официально задокументировано соблюдение — как Disallow, так и Crawl-delay
Известный IP сканера 74.208.42.172 (указан в официальном FAQ; проверяйте актуальность — адрес мог измениться)
Категория в энциклопедии TrafficVeil Требует уточнения — по факту это сканер-монитор битых ссылок, а не превью-фетчер соцсетей (см. раздел 8)

2. Зачем deadlinkchecker приходит на сайт

Обращение почти всегда связано с чьей-то конкретной задачей, а не с фоновым автономным обходом:

  • кто-то вручную запустил разовую проверку через форму на deadlinkchecker.com — сканируется одна переданная страница (быстрая проверка) или сайт вглубь до 10 уровней (полная проверка);
  • у сайта настроена автоматическая периодическая проверка (Auto Check) по подписке — тогда визиты повторяются по расписанию, которое задал сам заказчик;
  • агентство или SEO-специалист проверяет не только клиентский сайт, но иногда и сайты конкурентов — это официально заявленный сценарий использования сервиса.

Типичный кейс: на сайте фиксируется всплеск запросов от www.deadlinkchecker.com, который последовательно проходит по внутренним ссылкам — это не признак вредоносного сканирования, а штатная полная проверка на битые ссылки, вероятно инициированная владельцем сайта или его подрядчиком.

3. Нагрузка и риски

Главный практический риск — не в мусорном трафике, а в самой рекурсивной природе полной проверки: при глубине до 10 уровней сканер может за один заход открыть заметное число страниц сайта, что стоит учитывать при анализе пиков RPS.

Второй момент — прежде чем блокировать, стоит выяснить, не является ли это собственным инструментом мониторинга владельца сайта или его агентства: блокировка в этом случае просто скроет от них же данные о битых ссылках, которые они сами заказали.

Если бот действительно посторонний (например, проверку сайта запустил кто-то извне — конкурент анализирует ваши ссылки), риска для контента и данных нет: сканер не индексирует контент для дальнейшей публикации, а только проверяет статус ссылок.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти deadlinkchecker в логах

# Базовый поиск — оба варианта UA
grep -iE "deadlinkchecker|www\.deadlinkchecker\.com" /var/log/nginx/access.log

# Топ URL, которые проверяет сканер
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — сверяйте с известным 74.208.42.172
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — разовый всплеск или регулярное расписание Auto Check
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Глубина обхода — признак полной vs быстрой проверки
grep -iE "deadlinkchecker" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l

Верификация. Строку UA подделать может любой скрипт. Проверяйте связку UA + IP — известный адрес сканера 74.208.42.172, но у сервиса могут быть и другие адреса, поэтому окончательное решение стоит принимать по совокупности UA, IP и характерного рекурсивного паттерна обхода ссылок:

IP="74.208.42.172"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для deadlinkchecker

Сервис официально документирует полную поддержку robots.txt, включая директиву Crawl-delay — редкий случай, когда стоит использовать оба механизма вместе, а не только Disallow. Официальный пример от самого DLC Websites использует полный токен с доменом:

# Полный запрет
User-agent: www.deadlinkchecker.com
Disallow: /

# Замедлить сканирование вместо запрета — 1 секунда между запросами
User-agent: www.deadlinkchecker.com
Disallow: /
Crawl-delay: 1

# Закрыть только чувствительные разделы, остальное оставить доступным для проверки
User-agent: www.deadlinkchecker.com
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /

На случай встречающегося краткого токена без домена стоит продублировать то же правило и для него:

User-agent: deadlinkchecker
Disallow: /admin/
Disallow: /cart/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "deadlinkchecker") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_5cf3f3b34967_key {
    default "";
    "~*deadlinkchecker" $binary_remote_addr;
}
limit_req_zone $tv_ng_5cf3f3b34967_key zone=tv_ng_5cf3f3b34967:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_5cf3f3b34967 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} deadlinkchecker [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • перед блокировкой уточните у команды/клиента, не заказана ли проверка битых ссылок сознательно — иначе рискуете отключить чужой полезный мониторинг;
  • для разовых внешних проверок (например, от конкурентов) — rate-limit достаточно, полный deny избыточен, поскольку риска для данных нет;
  • если сервис используется штатно, полезнее настроить Crawl-delay в robots.txt, чем полностью открывать доступ без ограничений;
  • после изменения сверьте логи: хиты deadlinkchecker должны уйти в блок/лимит, а поисковые роботы остаться без изменений.

7. Что делать: короткий алгоритм

  • Проверка заказана вами или вашим агентством — не блокируйте, при желании ограничьте частоту через Crawl-delay в robots.txt;
  • Источник неясен, но нагрузка минимальна — оставьте как есть, риска для контента нет;
  • Полная проверка регулярно создаёт заметные пики RPS — используйте Crawl-delay вместо полного запрета, чтобы не терять данные о битых ссылках;
  • Сканирование точно постороннее и мешает — Disallow в robots.txt с полным токеном www.deadlinkchecker.com плюс запрет в TrafficVeil, если UA его игнорирует;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot и YandexBot заодно.

8. С кем не путать deadlinkchecker

Ключевая поправка к исходной классификации: deadlinkchecker — это сканер-монитор битых ссылок, а не бот превью ссылок в соцсетях. Он не читает Open Graph-теги для карточки и не привязан к разовому шерингу ссылки пользователем — в отличие от ботов ниже, которые действительно относятся к этой категории:

Бот / сосед Кластер UA Комментарий
Facebook External Hit Превью ссылок в соцсетях facebookexternalhit легитимный, настоящий OG-фетчер под карточку в Facebook
ArenaUnfurlBot Превью ссылок в соцсетях arenaunfurlbot легитимный
BufferLinkPreviewBot Превью ссылок в соцсетях bufferlinkpreviewbot легитимный
ClickUpLinkUnfurler Превью ссылок в соцсетях clickuplinkunfurler легитимный
AccessStatus Прочие краулеры и сервисы accessstatus легитимный, ближе по функции к deadlinkchecker — тоже мониторинг, а не превью

9. Стратегия allow/deny для deadlinkchecker

Ситуация Действие
Проверка заказана владельцем сайта или его агентством Allow, при желании — Crawl-delay в robots.txt для снижения нагрузки
Источник неизвестен, нагрузка незначительна Не трогать — сканер не сохраняет и не republishing контент
Регулярные пики RPS от полной проверки (Auto Check) Crawl-delay вместо Disallow, чтобы не терять данные о битых ссылках
Точно посторонний и мешает Disallow с полным токеном www.deadlinkchecker.com + запрет в TrafficVeil
Подозрение на подделку UA Сверять с известным IP 74.208.42.172 и паттерном рекурсивного обхода ссылок
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

deadlinkchecker действительно собирает данные для карточки превью ссылки?
Нет, он не читает Open Graph-теги — это инструмент проверки битых ссылок, который ищет неработающие 404/500 на сайте.
Кто чаще всего запускает эти проверки?
По официальному описанию сервиса — сам владелец сайта или его SEO-агентство, вручную или по расписанию через функцию Auto Check.
На сколько уровней вглубь сайта может зайти deadlinkchecker?
Быстрая проверка ограничена одной страницей, полная — рекурсивным обходом до 10 уровней вложенности.
Соблюдает ли deadlinkchecker правила robots.txt?
Да, оператор официально документирует поддержку как Disallow, так и директивы Crawl-delay для замедления сканирования.
Стоит ли сразу блокировать deadlinkchecker при высокой нагрузке?
Не обязательно — сначала стоит выяснить, не заказана ли эта проверка вами же, а для снижения нагрузки достаточно Crawl-delay вместо полной блокировки.
Какой User-Agent на самом деле искать в логах?
Официальный токен — www.deadlinkchecker.com, но в части интеграций встречается и краткий вариант deadlinkchecker без домена.
#deadlinkchecker#Dead Link Checker#User-Agent#битые ссылки#мониторинг#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота LMArenaUnfurlBot: легитимный превью ссылок в соцсетях
Боты·6 мин

LMArenaUnfurlBot: превью-бот известной AI-арены

LMArenaUnfurlBot принадлежит не безымянному оператору, а LMArena — авторитетной платформе для сравнения AI-моделей, с которой сотрудничают OpenAI, Google DeepMind и Anthropic. Разбираемся, как устроен этот fetcher превью-ссылок, почему для сайтов в AI-тематике присутствие в его экосистеме может быть реальным плюсом, и когда стандартная рекомендация allow вполне обоснована.

Читать
Уникальная иллюстрация бота Mastodon: легитимный прочие краулеры и сервисы
Боты·7 мин

Mastodon: превью-бот без единого оператора

У Mastodon в принципе нет единого IP-диапазона для проверки — платформа децентрализована, и тысячи независимых серверов каждый самостоятельно фетчят превью ссылок. Разбираемся, почему стандартная сверка с ASN здесь не работает, что означает необычно частый повторный запрос к одному изображению, и почему robots.txt для этого бота — скорее декларация, чем реальный контроль.

Читать
Уникальная иллюстрация бота page-preview-tool: легитимный превью ссылок в соцсетях
Боты·6 мин

Page-preview-tool: превью-бот без подтверждённого имени

В отличие от Facebook External Hit или LMArenaUnfurlBot, которые честно называют себя в User-Agent, за родовым «page-preview-tool» не стоит ни один известный оператор — это третий подобный случай, который мы разбираем в этой энциклопедии. Разбираемся, почему отсутствие бренда в названии — само по себе значимый сигнал, и почему категория «легитимный» здесь не подкреплена фактами.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil