TrendsmapResolver: кто-то поделился вашей ссылкой в X

Если в access.log мелькнул токен trendsmapresolver, есть простое объяснение: кто-то поделился ссылкой на вашу страницу в X (Twitter), и сервис Trendsmap развернул эту ссылку, чтобы собрать данные для картирования трендов с геопривязкой. Это не «интеграция клиента» и не проверка настроек аккаунта, как можно подумать по générик-описанию, а разовая реакция на конкретное упоминание в соцсети. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».

Что такое TrendsmapResolver на самом деле

Trendsmap — платформа для анализа и визуализации трендов в реальном времени с географической привязкой, в первую очередь на основе данных X (Twitter). Когда пользователь X делится ссылкой на вашу страницу, TrendsmapResolver разворачивает эту ссылку и забирает содержимое, чтобы связать конкретный URL с темой обсуждения и её географией. Бот впервые задокументирован ещё в 2018 году и с тех пор использует стабильную, минималистичную строку UA — это, по косвенным признакам, говорит о том, что сервис работает в рамках заданных авторизованных параметров, а не маскируется под что-то другое.

Техническая деталь, которую стоит знать: TrendsmapResolver запрашивает не всю страницу целиком, а только её первую часть — через HTTP-заголовок Range он ограничивает загрузку примерно двумя мегабайтами контента. Это разумная оптимизация для бота, которому нужны метаданные страницы, а не весь HTML полностью.

Зачем TrendsmapResolver приходит на сайт

Логика простая: частота визитов TrendsmapResolver прямо связана с тем, насколько активно контент вашего сайта обсуждается или репостится в X. Страница, которую никто не упоминает в соцсети, этот бот, скорее всего, не увидит вообще; страница, ставшая частью активного обсуждения, может получить несколько таких визитов подряд. Один из вебмастеров сообщал о частоте до 80 визитов в день на сайт, чей контент регулярно расшаривают в Twitter.

Зоны, которые бот затрагивает: конкретные страницы, на которые ведут расшаренные ссылки, — не систематический обход каталога, а точечные запросы вслед за реальной активностью в соцсети.

Нагрузка и риски именно для TrendsmapResolver

Отдельной строки в публичной сводке топ-ботов TrafficVeil у trendsmapresolver может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике и небольшой расход CPU/bandwidth, редко критичный сам по себе, поскольку запросы ограничены первыми мегабайтами страницы. Смотрите не только на абсолютный RPS, но и на:

• единичность запросов к конкретным URL, а не системный обход по разделам;
• корреляцию всплесков активности с реальными упоминаниями в X, если такую связь можно проверить;
• отсутствие cookie и признаков сессии.

Как найти TrendsmapResolver в логах

Ищите конкретный токен trendsmapresolver, учитывая, что встречаются варианты написания с пробелом и без.

# Базовый поиск
grep -i "trendsmapresolver" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "trendsmapresolver" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "trendsmapresolver" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "trendsmapresolver" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация: наличие заголовка Range с ограничением около двух мегабайт в запросе — хороший дополнительный признак подлинности именно этого бота, а не спуфинга. Тем не менее для окончательного решения смотрите связку UA + ASN/IP + частота + набор URL:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для TrendsmapResolver

# Жёсткий запрет
User-agent: trendsmapresolver
Disallow: /

# Разрешить всё
User-agent: trendsmapresolver
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичную часть
User-agent: trendsmapresolver
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важная оговорка: по имеющимся свидетельствам, TrendsmapResolver официально не соблюдает robots.txt, поэтому файл здесь скорее формальность. Если полное ограничение принципиально важно, переходите сразу к блокировке на уровне сервера или через TrafficVeil.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "trendsmapresolver") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=trendsmapresolver:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "trendsmapresolver") {
        limit_req zone=trendsmapresolver burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} trendsmapresolver [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• найдите trendsmapresolver / TrendsmapResolver в ботах домена или в /system/bots;
• для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
• allow оставляйте, если присутствие в трендовой аналитике соцсетей вам не мешает — сама нагрузка от бота обычно невелика;
• после изменения сверьте логи: хиты TrendsmapResolver должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.

С кем не путать TrendsmapResolver

Стратегия allow/deny для TrendsmapResolver

Главный вывод по TrendsmapResolver: это не абстрактный «сервисный обход», а прямое следствие реальной активности вокруг вашего контента в X. Всплеск визитов этого бота — само по себе полезный косвенный сигнал о том, что материал репостят, а не только повод для настройки правил фильтрации.