TrendictionBot — краулер компании Trendiction (market intelligence / search / мониторинг публичного веба: новости, форумы, блоги, включая разделы комментариев). Не путать с magpie-crawler Brandwatch — это другой listening-краулер с иным оператором.
Что такое TrendictionBot
| Параметр | Значение |
|---|---|
| User-Agent (токен) | trendictionbot |
| Полная строка (официально) | Mozilla/5.0 (Windows NT 10.0; Win64; x64; trendictionbot0.5.0; trendiction search; http://www.trendiction.de/bot; please let us know of any problems; web at trendiction.com) Gecko/20100101 Firefox/125.0 |
| Оператор | Trendiction; собранные данные также связаны с продуктовой линейкой Talkwalker (social listening / consumer intelligence) — независимые источники называют именно эту связку |
| Документация | trendiction.com/bot |
| Соблюдение robots.txt | Да по текущей документации; кэш правил до ~5 дней. Есть и старые (около 2009 года) полевые отчёты о зафиксированном игноре директив — не полагайтесь только на файл, если нужен мгновенный и гарантированный эффект |
| Контакт | web at trendiction.com (указан прямо в строке UA) |
| IP-лист | ❌ Не заявлен компактно; исторически наблюдались адреса из диапазона Hetzner (144.76.0.0/16), но это не официальный публикуемый список |
Почему бот приходит именно на эти страницы
Логика обхода у TrendictionBot ближе к «списку покупок», чем к широкому индексированию всего сайта: по независимым наблюдениям, бот в первую очередь и регулярно посещает конкретные страницы, которые отслеживают платящие клиенты Trendiction/Talkwalker, — цены, карточки товаров, анонсы, упоминания бренда — с частотой от раза в час до раза в неделю в зависимости от важности страницы для конкретного клиента. Сайты, которые ни один клиент не поставил на мониторинг, могут вообще никогда не увидеть этот краулер. Практический вывод: если видите повторные визиты на одни и те же конкретные URL — это, вероятно, означает, что кто-то отслеживает именно эти страницы через продукты Trendiction/Talkwalker, а не что сайт стал объектом массового сканирования.
Рядом: listening-краулеры
| Бот | Оператор | UA |
|---|---|---|
| TrendictionBot | Trendiction | trendictionbot |
| magpie-crawler | Brandwatch | magpie-crawler |
| AwarioBot | Awario | Awario* |
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Нагрузка
По сводке TrafficVeil (март–июнь 2026, июнь по 14.06) паттерн trendictionbot — порядка 90 тысяч запросов. Сверьте июль–август.
Логи
grep -i "trendictionbot\|trendiction" /var/log/nginx/access.logrobots.txt
User-agent: trendictionbot
Disallow: /Официально обновление robots.txt может применяться до 5 дней — сам оператор предупреждает об этом на своей странице. Для мгновенного эффекта — 403 на сервере, а не ожидание применения файла; альтернативно можно написать на контакт, указанный прямо в UA.
Сервер / TrafficVeil
if ($http_user_agent ~* "trendictionbot") {
return 403;
}Нет пользы от Trendiction — запретить; на Google не влияет; Brandwatch (magpie-crawler) режьте отдельным правилом, это другой оператор.
Стратегия
| Цель | Действие |
|---|---|
| Убрать из Trendiction/Talkwalker | Disallow + deny на сервере (не ждать применения кэша до 5 дней) |
| Оставить мониторинг | Allow; при нагрузке — контакт web at trendiction.com |
Частые вопросы
Почему TrendictionBot регулярно заходит на одни и те же конкретные страницы?
Может ли сайт вообще никогда не увидеть этот краулер?
Сколько времени применяются изменения в robots.txt для TrendictionBot?
Всегда ли TrendictionBot соблюдал robots.txt?
С каким продуктом связаны данные, собранные TrendictionBot?
Чем TrendictionBot отличается от magpie-crawler?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.