TTD-Content — не «компонент проверки виджета или webhook», а официально задокументированный краулер The Trade Desk (NASDAQ: TTD) — крупнейшей независимой demand-side platform в программатик-рекламе, публичной компании с выручкой свыше $2 млрд. У бота узкая и понятная функция: проверка файлов ads.txt и sellers.json, а также классификация контента страницы для brand safety и подбора рекламных площадок. В каталоге TrafficVeil бот отмечен как легитимный в категории «Прочие краулеры и сервисы».
Что такое TTD-Content на самом деле
The Trade Desk — технологическая компания, специализирующаяся на программатик-маркетинге и медиабаинге; она объединяет более 400 партнёров и работает в 30+ локациях по всему миру. TTD-Content — их краулер, который анализирует и классифицирует содержимое веб-страниц, чтобы помочь рекламодателям определить, безопасно ли для бренда размещать рекламу на конкретной странице, и насколько содержимое подходит под условия таргетированной рекламной кампании.
Официальная строка User-Agent прямо указывает на страницу компании: Mozilla/5.0 (compatible; TTD-Content; +https://www.thetradedesk.com/general/ttd-content). Независимые наблюдения также подтверждают, что этот же краулер проверяет файлы ads.txt и sellers.json — стандартные механизмы прозрачности программатик-рекламы, которые подтверждают, кто уполномочен продавать рекламные места на конкретном сайте.
| Параметр | Значение |
| Название | TTD-Content |
| User-Agent / паттерн | ttd-content (официальная строка: Mozilla/5.0 (compatible; TTD-Content; +https://www.thetradedesk.com/general/ttd-content)) |
| Оператор | The Trade Desk, Inc. — крупнейшая независимая demand-side platform в программатик-рекламе |
| Роль | Классификация контента страниц для brand safety и таргетинга рекламы; проверка ads.txt и sellers.json |
| Документация / ориентир | Официальная страница thetradedesk.com/general/ttd-content |
| Список IP | ❌ Отдельного публичного списка IP не обнаружено; проверяйте ASN и не доверяйте только строке UA |
| robots.txt | Крупный публичный оператор — как правило соблюдает; для точного ответа стоит проверить поведение по факту логов |
| Пометка TrafficVeil | Легитимный / Прочие краулеры и сервисы |
Зачем TTD-Content приходит на сайт
Визиты этого бота почти всегда связаны с тем, что сайт участвует (или потенциально может участвовать) в программатик-рекламных сделках через экосистему The Trade Desk — либо как площадка, где показывается или может показываться реклама через их платформу, либо как объект оценки для рекламодателей, которые хотят понять содержание и брендобезопасность страницы перед покупкой размещения. Какие зоны сайта такой обход чаще всего затрагивает: публичные URL, иногда открытый API и статику, а также непосредственно файлы /ads.txt и /.well-known/sellers.json, если они есть на сайте.
Нагрузка и риски именно для TTD-Content
Отдельной строки в публичной сводке топ-ботов TrafficVeil у ttd-content может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Смотрите не только абсолютный RPS, но и качество хитов:
- концентрация на
ads.txt/sellers.json— узкая, ожидаемая проверка прозрачности рекламной цепочки; - обход контентных страниц для классификации brand safety — более широкий, но всё ещё целенаправленный паттерн;
- отсутствие cookie и признаков сессии;
- концентрация на служебных или листовых страницах.
Как найти TTD-Content в логах
Ищите конкретный токен ttd-content, а не общее слово «bot».
# Базовый поиск
grep -i "ttd-content" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "ttd-content" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "ttd-content" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность
grep -i "ttd-content" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
Верификация: если в топе URL заметны ads.txt или sellers.json вместе с контентными страницами — это хорошо согласуется с заявленной функцией. Подделать UA может любой скрипт, поэтому для окончательного решения смотрите связку UA + ASN/IP + частота + набор URL:
IP="1.2.3.4" whois -h whois.cymru.com " -v $IP" dig +short -x "$IP"
robots.txt для TTD-Content
# Жёсткий запрет User-agent: ttd-content Disallow: / # Разрешить всё User-agent: ttd-content Allow: / # Компромисс: закрыть деньги/кабинет, оставить публичную часть User-agent: ttd-content Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /account/ Disallow: /api/ Allow: /
Как крупный публичный оператор с официальной документацией, The Trade Desk обычно соблюдает директивы robots.txt. Важно: если на сайте есть монетизация через рекламные сети, связанные с The Trade Desk, полная блокировка может помешать корректной оценке площадки рекламодателями — стоит уточнить это у команды перед disallow.
Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "ttd-content") {
return 403;
}
limit_req_zone $binary_remote_addr zone=ttdcontent:10m rate=10r/m;
location / {
if ($http_user_agent ~* "ttd-content") {
limit_req zone=ttdcontent burst=20 nodelay;
}
}
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ttd-content [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- найдите ttd-content / TTD-Content в ботах домена или в
/system/bots; - если сайт монетизируется через программатик-рекламу — allow, особенно для путей ads.txt/sellers.json;
- если рекламная монетизация через The Trade Desk не используется — disallow не должен создать проблем;
- после изменения сверьте логи: хиты TTD-Content должны уйти в блок/лимит, а нужные поисковики остаться нетронутыми.
С кем не путать TTD-Content
| Бот / сосед | Кластер | UA | Комментарий |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
По функции TTD-Content близок к другим ad-tech-краулерам для проверки прозрачности рекламной цепочки, таким как PubMatic Crawler Bot или IAS Crawler, — все они проверяют ads.txt/sellers.json и классифицируют контент в интересах разных рекламных платформ.
Стратегия allow/deny для TTD-Content
| Ситуация | Действие |
| Сайт монетизируется через программатик-рекламу The Trade Desk | Allow, особенно на ads.txt и sellers.json |
| Рекламная монетизация через The Trade Desk не используется | Disallow + запрет в TrafficVeil |
| Обход в целом приемлем, но нагрузка избыточна | Rate-limit на nginx/TrafficVeil |
| Непонятно, использует ли сайт рекламные сети, связанные с TTD | Уточнить у команды перед блокировкой, особенно если есть сторонняя монетизация |
| Подозрение на спуфинг UA | Не доверять строке UA; смотреть IP/ASN и поведение |
Главный вывод по TTD-Content: это не абстрактный «сервисный обход», а прозрачно задокументированный компонент крупной публичной ad-tech компании. Решение allow/deny здесь стоит принимать в первую очередь исходя из того, монетизируется ли сайт через программатик-рекламу вообще.