Токен linktiger в access.log — не безобидный fetcher, который заходит один раз при шаринге ссылки в соцсети, как можно подумать по названию. LinkTiger, Inc. — это сервис проверки битых ссылок, и его краулер систематически обходит страницы сайта в поисках неработающих гиперссылок, а не точечно запрашивает og:image для карточки превью. В каталоге TrafficVeil бот отмечен как легитимный — но масштаб обхода здесь стоит оценивать реалистично.
Что такое LinkTiger на самом деле
LinkTiger — коммерческий инструмент для проверки ссылок: он методично сканирует страницы сайта, чтобы найти хайперссылки, ведущие на несуществующие или недоступные адреса — то, что вредит и пользовательскому опыту, и SEO. Это принципиально отличается от классических link-preview-ботов вроде Facebook External Hit или LinkedInBot, которые запрашивают ровно одну страницу в момент, когда кто-то поделился на неё ссылкой, и не идут дальше.
Есть задокументированный реальный случай: владелец сайта, который никогда не подключал LinkTiger к своему проекту, столкнулся с тем, что бот в течение недели прошёл буквально по каждой странице и картинке на сайте, увеличив объём access-логов почти на 20%. В переписке с компанией владелец также получил подтверждение — их краулер официально не соблюдает robots.txt.
| Параметр | Значение |
| Название | LinkTiger |
| User-Agent / паттерн | linktiger (пример реальной полной строки: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4 LinkTiger 2.0) |
| Оператор | LinkTiger, Inc. — сервис проверки битых ссылок |
| Роль | Систематическое сканирование страниц сайта на предмет неработающих (битых) ссылок, а не превью для соцсетей |
| Документация / ориентир | Официальный сайт оператора; подробной технической документации для веб-мастеров не публикуется |
| Список IP | По свидетельствам пользователей, оператор при обращении предоставляет диапазон своих IP — но общедоступного актуального списка нет, проверяйте ASN отдельно |
| robots.txt | По прямому подтверждению самого оператора в переписке с одним из веб-мастеров — краулер robots.txt официально не соблюдает |
| Пометка TrafficVeil | Легитимный / Превью ссылок в соцсетях |
Зачем LinkTiger приходит на сайт
Логика простая: кто-то — вы сами, ваш клиент или партнёр — добавил ваш домен в аккаунт LinkTiger для регулярной проверки ссылок. Бот проходит по страницам сайта и проверяет каждую найденную ссылку на доступность, чтобы прислать отчёт о битых ссылках владельцу подписки. Важно: раз robots.txt не соблюдается, отсутствие визитов LinkTiger не гарантировано даже полным запретом в этом файле.
Зоны, которые бот затрагивает, при таком назначении практически неограничены — он проходит по всем найденным страницам и ссылкам, включая изображения, а не только по URL из шеринга или og:image, как можно было бы предположить по названию категории.
Нагрузка и риски именно для LinkTiger
Здесь риск принципиально выше, чем у типичного link-preview-бота: систематический обход всех страниц и изображений сайта — это полноценная нагрузка контентного краулера, а не лёгкий единичный запрос. Смотрите не только на абсолютный RPS, но и на:
- глубину обхода — LinkTiger может пройти буквально по каждой странице и медиафайлу, а не по 1-2 URL;
- продолжительность серии запросов — задокументированный случай показывает обход, растянутый на неделю без перерыва;
- отсутствие cookie и признаков сессии;
- рост объёма логов на заметный процент даже при отсутствии реальной аудитории.
Как найти LinkTiger в логах
Ищите конкретный токен linktiger — при систематическом обходе он обычно хорошо заметен по объёму запросов.
# Базовый поиск
grep -i "linktiger" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "linktiger" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "linktiger" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "linktiger" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Если в топе URL не единичные адреса, а заметная доля всего каталога, включая изображения, — это подтверждает гипотезу о систематической проверке ссылок, а не о превью для соцсетей. Верификация через whois/reverse DNS остаётся полезной дополнительной проверкой:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt для LinkTiger
# Жёсткий запрет User-agent: linktiger Disallow: / # Разрешить всё User-agent: linktiger Allow: / # Компромисс: закрыть деньги/кабинет, оставить публичную часть User-agent: linktiger Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /account/ Disallow: /api/ Allow: /
Важная оговорка, подтверждённая напрямую оператором: LinkTiger официально не соблюдает robots.txt. Значит, этот файл здесь скорее формальность — реальный контроль возможен только на уровне сервера или через TrafficVeil.
Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "linktiger") {
return 403;
}
limit_req_zone $binary_remote_addr zone=linktiger:10m rate=10r/m;
location / {
if ($http_user_agent ~* "linktiger") {
limit_req zone=linktiger burst=20 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} linktiger [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- найдите linktiger / LinkTiger в ботах домена или в
/system/bots; - если проверку ссылок никто из команды не заказывал — категория «запретить»; учитывая игнорирование robots.txt, это надёжнее, чем полагаться на файл;
- allow оставляйте только если проверку битых ссылок действительно заказывали вы, клиент или партнёр;
- после изменения сверьте логи: хиты LinkTiger должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.
С кем не путать LinkTiger
| Бот / сосед | Кластер | UA | Комментарий |
| ArenaUnfurlBot | Превью ссылок в соцсетях | arenaunfurlbot | легитимный |
| BufferLinkPreviewBot | Превью ссылок в соцсетях | bufferlinkpreviewbot | легитимный |
| ClickUpLinkUnfurler | Превью ссылок в соцсетях | clickuplinkunfurler | легитимный |
| Facebook External Hit | Превью ссылок в соцсетях | facebookexternalhit | легитимный |
| LMArenaUnfurlBot | Превью ссылок в соцсетях | lmarenaunfurlbot | легитимный |
Важно: несмотря на соседство в этой таблице, по функции LinkTiger принципиально отличается от всех перечисленных ботов — те делают один точечный запрос на карточку превью, а LinkTiger методично обходит весь сайт.
Стратегия allow/deny для LinkTiger
| Ситуация | Действие |
| Проверку битых ссылок заказывали вы или ваша команда | Allow + закрыть /admin /cart /api |
| Проверку никто не заказывал, обход систематический и объёмный | Disallow + жёсткий запрет в TrafficVeil, не полагаясь на robots.txt |
| Проверка нужна, но нагрузка от полного обхода избыточна | Rate-limit на nginx/TrafficVeil |
| Не удалось подтвердить, кто заказал проверку | Deny по умолчанию, исключения — точечно после выяснения источника |
| Подозрение на спуфинг UA | Не доверять строке UA; смотреть IP/ASN и масштаб обхода |
Главный вывод по LinkTiger: несмотря на пометку в категории превью-ботов, по факту это полноценный контентный краулер для проверки ссылок, который к тому же официально игнорирует robots.txt. Решение allow/deny здесь стоит принимать с той же осторожностью, что и для любого другого систематического обхода, а не как для лёгкого fetcher-а социальных карточек.