LinkWalker в логах: не превью ссылок, а совсем другой бот

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а LinkWalker с User-Agent linkwalker. Важное уточнение по факту проверки: это не бот превью ссылок для мессенджеров и соцсетей — LinkWalker исторически и по сей день является краулером для построения карты ссылок в вебе, а не точечным fetcher’ом карточек шеринга.

1. Что такое LinkWalker

Технология LinkWalker принадлежала компании SEVENtwentyfour Inc., которая специализировалась на картографировании ссылочного графа веба (заявлялась карта из 52 миллиардов ссылок); в 2006 году SEVENtwentyfour вместе с LinkWalker приобрела компания Brandimensions Inc. В более поздних версиях UA бот указывает на сайт brandprotect.com — то есть технология сегодня связана с брендозащитной индустрией (поиск фишинговых сайтов, несанкционированного использования товарных знаков, спорных ссылок на бренд), а не с генерацией превью для соцсетей или мессенджеров. По независимым отчётам вебмастеров, в отличие от типичного link preview-бота, который запрашивает один переданный URL, LinkWalker в реальности обходил сайты широко — вплоть до «прохода по всем страницам сайта» за один визит, а не точечно.

2. Зачем LinkWalker приходит на сайт

В отличие от типичных ботов категории «превью ссылок», которые запрашивают конкретный URL сразу после того, как кто-то поделился им в соцсети или мессенджере, LinkWalker по документированному опыту вебмастеров вёл себя как полноценный краулер: обходил множество страниц сайта подряд, без явного триггера «кто-то поделился ссылкой». Отдельно стоит знать: у этого UA есть задокументированная репутационная история — на форумах вебмастеров и в базе Project Honeypot он упоминается в связке со сбором email-адресов (harvesting) и с трафиком, ведущим на спамерские MFA-сайты (made-for-advertising) через похожие referrer-цепочки.

• Какие зоны чаще трогает: по независимым наблюдениям — широкий охват страниц сайта, а не только конкретный URL из шеринга;
• Что ищет: ссылочные связи для построения карты веба; в современной версии, вероятно, признаки злоупотребления брендом (фишинг, спорные упоминания);
• Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и, по документированным случаям, куда шире, чем у типичного link preview-бота.

Типичный кейс: CDN-трафик дорожает, origin CPU нагружен обработкой множества запросов подряд. Фильтр по linkwalker показывает обращения не к одному переданному URL, а к широкому набору страниц — это расходится с моделью «превью ссылки» и больше похоже на полноценный обход.

3. Нагрузка и риски именно для LinkWalker

Отдельной строки в публичной сводке top-bot TrafficVeil у linkwalker может не быть, но, в отличие от большинства ботов категории «Превью ссылок в соцсетях», риск блокировки здесь принципиально другой: если LinkWalker действительно не запрашивает точечно переданный URL, а обходит сайт широко, стандартная логика «при блокировке пользователи увидят голую ссылку без картинки» не применяется в полной мере — вы, вероятнее всего, не теряете функциональность шеринга, а лишь ограничиваете широкий обход с малопонятной современной пользой.

4. Как найти LinkWalker в логах

Не ищите «просто ботов» — ищите конкретный токен linkwalker и обязательно проверяйте, ограничивается ли бот одним URL за визит или обходит сайт широко.

# Базовый поиск
grep -i "linkwalker" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот — проверьте на широту охвата
grep -i "linkwalker" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30

# Сколько уникальных URL посетил бот за сутки — высокое число говорит о широком обходе, а не точечном превью
grep -i "linkwalker" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l

# Топ IP за этим UA
grep -i "linkwalker" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "linkwalker" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP нет, а сам оператор (BrandProtect) не публикует first-party страницу для вебмастеров, поэтому опирайтесь на поведение: широкий обход множества URL, а не разовый запрос конкретной ссылки, — сильный сигнал, что перед вами не типичный превью-бот.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для LinkWalker

# Жёсткий запрет
User-agent: LinkWalker
Disallow: /

# Разрешить всё
User-agent: LinkWalker
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: linkwalker
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для linkwalker, если пользы нет — а учитывая, что это исторически не безобидный fetcher превью, а широкий краулер с репутационными вопросами, по умолчанию разумнее считать пользу отсутствующей. Соблюдение robots.txt документально не подтверждено — дублируйте запрет на уровне сервера.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "linkwalker") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=linkwalker:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "linkwalker") {
        limit_req zone=linkwalker burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} linkwalker [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите linkwalker в ботах домена или в /system/bots;
• Учитывая репутационную историю и отсутствие подтверждённой пользы для превью в соцсетях — по умолчанию «запретить»;
• После изменения сверьте логи: хиты LinkWalker должны уйти в блок или лимит, а превью ссылок через реальные соцсети (Facebook, Telegram и подобные — с другими UA) продолжат работать без изменений, поскольку они не связаны с этим ботом.

7. Рекомендации: что делать с LinkWalker

• Если пользы нет — Disallow/403 для linkwalker; в отличие от большинства ботов этой категории, здесь это разумный default, а не крайняя мера;
• Не полагайтесь на стандартную логику «сломаются карточки шеринга» — по документированному поведению LinkWalker не работает как типичный fetcher одной ссылки;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot и настоящие боты превью соцсетей;
• Что будет при блокировке: в отличие от типичных ботов этой категории, вы вряд ли потеряете функциональность превью ссылок — скорее ограничите широкий обход с неясной текущей пользой.

8. С кем не путать LinkWalker

9. Стратегия allow/deny для LinkWalker