LinkTiger в логах: не превью, а полный обход сайта

Токен linktiger в access.log — не безобидный fetcher, который заходит один раз при шаринге ссылки в соцсети, как можно подумать по названию. LinkTiger, Inc. — это сервис проверки битых ссылок, и его краулер систематически обходит страницы сайта в поисках неработающих гиперссылок, а не точечно запрашивает og:image для карточки превью. В каталоге TrafficVeil бот отмечен как легитимный — но масштаб обхода здесь стоит оценивать реалистично.

Что такое LinkTiger на самом деле

LinkTiger — коммерческий инструмент для проверки ссылок: он методично сканирует страницы сайта, чтобы найти хайперссылки, ведущие на несуществующие или недоступные адреса — то, что вредит и пользовательскому опыту, и SEO. Это принципиально отличается от классических link-preview-ботов вроде Facebook External Hit или LinkedInBot, которые запрашивают ровно одну страницу в момент, когда кто-то поделился на неё ссылкой, и не идут дальше.

Есть задокументированный реальный случай: владелец сайта, который никогда не подключал LinkTiger к своему проекту, столкнулся с тем, что бот в течение недели прошёл буквально по каждой странице и картинке на сайте, увеличив объём access-логов почти на 20%. В переписке с компанией владелец также получил подтверждение — их краулер официально не соблюдает robots.txt.

Зачем LinkTiger приходит на сайт

Логика простая: кто-то — вы сами, ваш клиент или партнёр — добавил ваш домен в аккаунт LinkTiger для регулярной проверки ссылок. Бот проходит по страницам сайта и проверяет каждую найденную ссылку на доступность, чтобы прислать отчёт о битых ссылках владельцу подписки. Важно: раз robots.txt не соблюдается, отсутствие визитов LinkTiger не гарантировано даже полным запретом в этом файле.

Зоны, которые бот затрагивает, при таком назначении практически неограничены — он проходит по всем найденным страницам и ссылкам, включая изображения, а не только по URL из шеринга или og:image, как можно было бы предположить по названию категории.

Нагрузка и риски именно для LinkTiger

Здесь риск принципиально выше, чем у типичного link-preview-бота: систематический обход всех страниц и изображений сайта — это полноценная нагрузка контентного краулера, а не лёгкий единичный запрос. Смотрите не только на абсолютный RPS, но и на:

• глубину обхода — LinkTiger может пройти буквально по каждой странице и медиафайлу, а не по 1-2 URL;
• продолжительность серии запросов — задокументированный случай показывает обход, растянутый на неделю без перерыва;
• отсутствие cookie и признаков сессии;
• рост объёма логов на заметный процент даже при отсутствии реальной аудитории.

Как найти LinkTiger в логах

Ищите конкретный токен linktiger — при систематическом обходе он обычно хорошо заметен по объёму запросов.

# Базовый поиск
grep -i "linktiger" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "linktiger" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "linktiger" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "linktiger" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Если в топе URL не единичные адреса, а заметная доля всего каталога, включая изображения, — это подтверждает гипотезу о систематической проверке ссылок, а не о превью для соцсетей. Верификация через whois/reverse DNS остаётся полезной дополнительной проверкой:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для LinkTiger

# Жёсткий запрет
User-agent: linktiger
Disallow: /

# Разрешить всё
User-agent: linktiger
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: linktiger
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важная оговорка, подтверждённая напрямую оператором: LinkTiger официально не соблюдает robots.txt. Значит, этот файл здесь скорее формальность — реальный контроль возможен только на уровне сервера или через TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "linktiger") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=linktiger:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "linktiger") {
        limit_req zone=linktiger burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} linktiger [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите linktiger / LinkTiger в ботах домена или в /system/bots;
• если проверку ссылок никто из команды не заказывал — категория «запретить»; учитывая игнорирование robots.txt, это надёжнее, чем полагаться на файл;
• allow оставляйте только если проверку битых ссылок действительно заказывали вы, клиент или партнёр;
• после изменения сверьте логи: хиты LinkTiger должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать LinkTiger

Важно: несмотря на соседство в этой таблице, по функции LinkTiger принципиально отличается от всех перечисленных ботов — те делают один точечный запрос на карточку превью, а LinkTiger методично обходит весь сайт.

Стратегия allow/deny для LinkTiger

Главный вывод по LinkTiger: несмотря на пометку в категории превью-ботов, по факту это полноценный контентный краулер для проверки ссылок, который к тому же официально игнорирует robots.txt. Решение allow/deny здесь стоит принимать с той же осторожностью, что и для любого другого систематического обхода, а не как для лёгкого fetcher-а социальных карточек.