Mediatoolkitbot — краулер сервиса Determ (ранее Mediatoolkit) для media monitoring. Не Googlebot.
Параметры
| Параметр | Значение |
|---|---|
| UA | Mediatoolkitbot / Mediatoolkitbot (complaints@mediatoolkit.com) |
| Оператор | Determ (ex-Mediatoolkit) |
| Docs | determ.com/robot |
| robots.txt | Да, по официальному заявлению; Crawl-delay тоже поддерживается |
| Контакт | complaints@determ.com |
Масштаб и назначение
По собственному описанию Determ, Mediatoolkitbot систематически сканирует более 100 миллионов веб-источников в поисках контента, совпадающего с фразами и ключевыми словами, которые отслеживают клиенты сервиса — в основном маркетологи, PR-специалисты и бренд-менеджеры, следящие за упоминаниями в интернете. Частота визитов на конкретный сайт зависит от того, как часто там публикуется новый контент и насколько он совпадает с критериями мониторинга пользователей Determ.
Стоит ли доверять заявлению о robots.txt на все сто
Determ официально заявляет, что бот уважает robots.txt, и это подтверждается независимыми трекерами. Но в открытом форуме вебмастеров ещё в 2018 году был зафиксирован случай, вызвавший сомнения: один из администраторов сайтов заметил, что бот запросил robots.txt, но по факту продолжил вести себя так, будто правила его не касаются — сам автор комментария предположил, что запрос к файлу мог быть добавлен просто «для прохождения каких-то фильтров», а не как часть реального соблюдения директив. Практический вывод: заявление о compliance стоит воспринимать как официальную позицию, а не абсолютную гарантию — как и для многих других сервисов мониторинга, полезно перепроверять поведение бота на своём сайте, а не полагаться только на документацию.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Кому это может быть выгодно
Прямой выгоды владельцу сайта от визитов бота нет — но попадание контента в отчёты media monitoring иногда даёт неожиданный практический эффект: PR-специалисты и маркетологи, использующие Determ для поиска голосов индустрии или потенциальных партнёров, могут обнаружить автора или площадку именно через такой мониторинг, что иногда приводит к реальным бизнес-предложениям или коллаборациям.
Нагрузка
По сводке TrafficVeil — порядка 26 тысяч запросов.
Контроль
grep -i "Mediatoolkitbot" /var/log/nginx/access.logUser-agent: Mediatoolkitbot
Crawl-Delay: 10User-agent: Mediatoolkitbot
Disallow: /Дополнительная верификация
Официального компактного IP-списка нет, но в полевых наблюдениях вебмастеров бот неоднократно фиксировался с диапазона 213.186.1.201, 213.186.1.207, 213.186.8.43 (сеть Omonia d.o.o.) — используйте это как один из ориентиров при подозрении на подделку UA, а не единственное доказательство.
Рекомендации
- Нужны упоминания в отчётах Determ — Allow + Crawl-delay при нагрузке
- Не интересует медиамониторинг — Disallow + deny
- После смены robots.txt возможна задержка перед тем, как бот подхватит новые правила — не ждите мгновенного эффекта
- На Google не влияет — это отдельная от поисковой индексации инфраструктура
Частые вопросы
Сколько источников сканирует Mediatoolkitbot?
Действительно ли бот всегда соблюдает robots.txt, как заявляет оператор?
Есть ли польза владельцу сайта от визитов Mediatoolkitbot?
Публикует ли Determ официальный список IP для верификации?
Поддерживает ли Mediatoolkitbot директиву Crawl-delay?
Куда обращаться при подозрении на некорректное поведение бота?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.