LinkedInBot: что это за бот и почему его лучше не блокировать

LinkedInBot — официальный автоматизированный клиент LinkedIn, основная публично подтверждаемая задача которого — получение данных страницы для формирования превью ссылок, когда URL публикуют, отправляют в сообщении или используют в статье LinkedIn.

Для TrafficVeil его корректно относить к категории «Превью ссылок в соцсетях». Это легитимная автоматизация, но сам User-Agent нельзя считать достаточным доказательством подлинности: строку LinkedInBot способен отправить любой HTTP-клиент.

Что в исходном описании важно уточнить

LinkedInBot не стоит описывать как универсального индексатора профилей и статей внешнего сайта. Надёжнее и точнее говорить о подтверждённой функции link preview. LinkedIn официально предоставляет Post Inspector для повторного получения URL и обновления изображения и информации, показываемых в новых публикациях.

То есть типичный сценарий выглядит так: пользователь добавляет URL в LinkedIn, инфраструктура LinkedIn обращается к странице, получает необходимые данные и формирует карточку ссылки.

Зачем LinkedInBot приходит на сайт

Главная задача — получить данные конкретного URL, которыми LinkedIn сможет заполнить превью.

Для качественной карточки на странице особенно важны:

• og:title;
• og:description;
• og:image;
• канонический URL;
• обычные title и meta description как резервные метаданные;
• доступность изображения превью без авторизации.

LinkedIn также кэширует информацию превью. Поэтому после изменения изображения или метаданных старая карточка может некоторое время сохраняться. Для принудительного обновления LinkedIn предоставляет Post Inspector.

Как LinkedInBot отличается от обычного пользователя

Как выглядит User-Agent

В публичных каталогах наблюдаются, в частности, такие варианты:

LinkedInBot/1.0 (compatible; Mozilla/5.0; +http://www.linkedin.com)

LinkedInBot/1.0 (compatible; Mozilla/5.0; Apache-HttpClient +http://www.linkedin.com)

Для первичного обнаружения достаточно case-insensitive поиска токена linkedinbot. Но для выдачи статуса Verified одного совпадения UA недостаточно.

Как найти LinkedInBot в access.log

# Все совпадения
grep -i "linkedinbot" /var/log/nginx/access.log

# Топ URL
grep -i "linkedinbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30

# Топ IP
grep -i "linkedinbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -30

# Коды ответа
grep -i "linkedinbot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Как отличить настоящий LinkedInBot от поддельного

User-Agent легко подделывается. Поэтому TrafficVeil лучше использовать многофакторную идентификацию.

• UA и его известный формат;
• IP и ASN;
• network type;
• TLS/HTTP fingerprint;
• частота запросов;
• профиль URL;
• история предыдущих наблюдений.

Особенно подозрительно, если клиент с UA LinkedInBot начинает запрашивать /.env, backup-файлы, административные панели, случайные API endpoint или тысячи несвязанных URL. Такое поведение не соответствует нормальному сценарию получения link preview.

Нагрузка LinkedInBot

Для большинства сайтов этот тип трафика не должен быть существенной нагрузкой. Однако популярный URL может запрашиваться повторно, а обновление превью через Post Inspector также вызывает повторную обработку URL.

Оценивать стоит не только количество запросов, но и:

• RPS/RPM;
• число уникальных URL;
• объём ответа;
• cache HIT/MISS;
• нагрузку динамической генерации страницы;
• запросы к изображениям;
• HTTP status.

Почему блокировка может сломать превью

Если LinkedIn не сможет получить страницу или нужные метаданные, карточка ссылки может отображаться некорректно: без актуального изображения, заголовка или описания.

Поэтому для публичного сайта, контентом которого пользователи делятся в LinkedIn, базовая рекомендация — разрешать подтверждённый LinkedInBot.

Что проверить, если превью LinkedIn неправильное

1. Убедитесь, что URL доступен без авторизации.
2. Проверьте og:title, og:description и og:image.
3. Убедитесь, что изображение возвращает успешный HTTP-ответ.
4. Проверьте, не блокирует ли WAF запрос LinkedInBot.
5. Проверьте redirects и конечный URL.
6. После исправлений обновите URL через LinkedIn Post Inspector.

robots.txt и LinkedInBot

Внешние каталоги расходятся в оценке того, насколько LinkedInBot следует robots.txt, поэтому не стоит обещать пользователю гарантированное соблюдение директивы без актуальной официальной спецификации LinkedIn.

Для декларативного ограничения можно использовать:

User-agent: LinkedInBot
Disallow: /

Но если требуется гарантированно ограничить HTTP-доступ, это делается на уровне reverse proxy, WAF или веб-сервера.

Блокировка через Nginx

if ($http_user_agent ~* "linkedinbot") {
    return 403;
}

Это простое правило работает только по UA и поэтому подходит для блокировки, но не для надёжной идентификации официальной инфраструктуры.

Блокировка через Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} LinkedInBot [NC]
RewriteRule ^ - [F,L]

Нужен ли Rate Limit

Обычно агрессивный rate limit для подтверждённого LinkedInBot не нужен. Если запросы неожиданно создают нагрузку, сначала стоит проверить, действительно ли источник соответствует нормальному профилю LinkedInBot.

Сильное отклонение от обычного link-preview поведения может указывать на spoofing UA, и тогда ограничивать следует фактический источник, а не весь LinkedInBot.

Как учитывать LinkedInBot в аналитике

Запросы LinkedInBot не следует считать обычными посещениями сайта. В TrafficVeil их лучше выделять в отдельную категорию:

Automated traffic → Social / Link Preview → LinkedInBot.

Исключайте их из human visits и конверсий, но сохраняйте в bot/service analytics: рост таких обращений может косвенно сопровождать активное распространение URL.

С кем не путать LinkedInBot

Рекомендуемая политика TrafficVeil

Карточка LinkedInBot для базы TrafficVeil

Итог

LinkedInBot — легитимный crawler/fetcher LinkedIn, используемый прежде всего для формирования превью ссылок. Если пользователи делятся страницами сайта в LinkedIn, блокировка бота может ухудшить отображение таких ссылок.

Для TrafficVeil разумная политика по умолчанию — Allow для подтверждённого LinkedInBot, исключение его запросов из человеческой аналитики и отдельный учёт в категории Social / Link Preview.

При этом доверять одной строке User-Agent нельзя. Если клиент называет себя LinkedInBot, но демонстрирует scanning, scraping или другой нетипичный профиль, TrafficVeil должен оценивать его по инфраструктуре и поведению, а не выдавать автоматический allow только по имени.