Если в access.log мелькнул токен trendsmapresolver, есть простое объяснение: кто-то поделился ссылкой на вашу страницу в X (Twitter), и сервис Trendsmap развернул эту ссылку, чтобы собрать данные для картирования трендов с геопривязкой. Это не «интеграция клиента» и не проверка настроек аккаунта, как можно подумать по générик-описанию, а разовая реакция на конкретное упоминание в соцсети. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».
Что такое TrendsmapResolver на самом деле
Trendsmap — платформа для анализа и визуализации трендов в реальном времени с географической привязкой, в первую очередь на основе данных X (Twitter). Когда пользователь X делится ссылкой на вашу страницу, TrendsmapResolver разворачивает эту ссылку и забирает содержимое, чтобы связать конкретный URL с темой обсуждения и её географией. Бот впервые задокументирован ещё в 2018 году и с тех пор использует стабильную, минималистичную строку UA — это, по косвенным признакам, говорит о том, что сервис работает в рамках заданных авторизованных параметров, а не маскируется под что-то другое.
Техническая деталь, которую стоит знать: TrendsmapResolver запрашивает не всю страницу целиком, а только её первую часть — через HTTP-заголовок Range он ограничивает загрузку примерно двумя мегабайтами контента. Это разумная оптимизация для бота, которому нужны метаданные страницы, а не весь HTML полностью.
| Параметр | Значение |
| Название | TrendsmapResolver |
| User-Agent / паттерн | trendsmapresolver (реальная строка: Mozilla/5.0 (compatible; TrendsmapResolver/0.1) или Trendsmap Resolver/0.0.1 — встречаются оба варианта написания) |
| Оператор | Trendsmap — платформа анализа трендов соцсетей с геопривязкой |
| Роль | Разворачивает ссылки, которыми делятся в X (Twitter), для сбора метаданных под картирование трендов |
| Документация / ориентир | Официальный сайт trendsmap.com; отдельной технической документации для веб-мастеров не публикуется |
| Список IP | ❌ Отдельного публичного списка IP не обнаружено; проверяйте ASN и не доверяйтесь только строке UA |
| robots.txt | По свидетельствам вебмастеров — директивы официально не соблюдаются |
| Пометка TrafficVeil | Легитимный / Прочие краулеры и сервисы |
Зачем TrendsmapResolver приходит на сайт
Логика простая: частота визитов TrendsmapResolver прямо связана с тем, насколько активно контент вашего сайта обсуждается или репостится в X. Страница, которую никто не упоминает в соцсети, этот бот, скорее всего, не увидит вообще; страница, ставшая частью активного обсуждения, может получить несколько таких визитов подряд. Один из вебмастеров сообщал о частоте до 80 визитов в день на сайт, чей контент регулярно расшаривают в Twitter.
Зоны, которые бот затрагивает: конкретные страницы, на которые ведут расшаренные ссылки, — не систематический обход каталога, а точечные запросы вслед за реальной активностью в соцсети.
Нагрузка и риски именно для TrendsmapResolver
Отдельной строки в публичной сводке топ-ботов TrafficVeil у trendsmapresolver может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике и небольшой расход CPU/bandwidth, редко критичный сам по себе, поскольку запросы ограничены первыми мегабайтами страницы. Смотрите не только на абсолютный RPS, но и на:
- единичность запросов к конкретным URL, а не системный обход по разделам;
- корреляцию всплесков активности с реальными упоминаниями в X, если такую связь можно проверить;
- отсутствие cookie и признаков сессии.
Как найти TrendsmapResolver в логах
Ищите конкретный токен trendsmapresolver, учитывая, что встречаются варианты написания с пробелом и без.
# Базовый поиск
grep -i "trendsmapresolver" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "trendsmapresolver" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "trendsmapresolver" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "trendsmapresolver" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: наличие заголовка Range с ограничением около двух мегабайт в запросе — хороший дополнительный признак подлинности именно этого бота, а не спуфинга. Тем не менее для окончательного решения смотрите связку UA + ASN/IP + частота + набор URL:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt для TrendsmapResolver
# Жёсткий запрет User-agent: trendsmapresolver Disallow: / # Разрешить всё User-agent: trendsmapresolver Allow: / # Компромисс: закрыть деньги/кабинет, оставить публичную часть User-agent: trendsmapresolver Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /account/ Disallow: /api/ Allow: /
Важная оговорка: по имеющимся свидетельствам, TrendsmapResolver официально не соблюдает robots.txt, поэтому файл здесь скорее формальность. Если полное ограничение принципиально важно, переходите сразу к блокировке на уровне сервера или через TrafficVeil.
Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "trendsmapresolver") {
return 403;
}
limit_req_zone $binary_remote_addr zone=trendsmapresolver:10m rate=10r/m;
location / {
if ($http_user_agent ~* "trendsmapresolver") {
limit_req zone=trendsmapresolver burst=20 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} trendsmapresolver [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- найдите trendsmapresolver / TrendsmapResolver в ботах домена или в
/system/bots; - для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
- allow оставляйте, если присутствие в трендовой аналитике соцсетей вам не мешает — сама нагрузка от бота обычно невелика;
- после изменения сверьте логи: хиты TrendsmapResolver должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.
С кем не путать TrendsmapResolver
| Бот / сосед | Кластер | UA | Комментарий |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
Стратегия allow/deny для TrendsmapResolver
| Ситуация | Действие |
| Присутствие в трендовой аналитике X не критично и не мешает | Allow + закрыть /admin /cart /api |
| Только создаёт шум в логах без ценности для бизнеса | Disallow + запрет в TrafficVeil |
| Обход в целом приемлем, но частота избыточна (например, при вирусном посте) | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на спуфинг UA | Проверить наличие характерного Range-заголовка на ~2 МБ; его отсутствие — повод усомниться |
Главный вывод по TrendsmapResolver: это не абстрактный «сервисный обход», а прямое следствие реальной активности вокруг вашего контента в X. Всплеск визитов этого бота — само по себе полезный косвенный сигнал о том, что материал репостят, а не только повод для настройки правил фильтрации.