MgidBot: вероятно, бот одного из крупнейших игроков нативной рекламы — той же категории, что Taboola

MgidBot, по всей видимости, принадлежит MGID — одному из крупнейших независимых игроков рынка нативной рекламы и контент-рекомендаций, основанному в 2007–2008 году и базирующемуся в Санта-Монике. Это не нишевый или малоизвестный сервис: компания работает с более чем 32 тысячами издателей в свыше 70 странах, обеспечивает свыше 185 миллиардов показов в месяц и упоминается в одном ряду с Taboola и Outbrain как один из лидеров этого рынка — двух других платформ той же категории, уже разобранных в этой серии.

Чем занимается MGID и почему логика её бота, вероятно, похожа на Taboola

MGID — платформа нативной рекламы: она встраивает рекламные и рекомендательные блоки прямо в контент издателей, стараясь визуально не выделяться на фоне редакционных материалов. Бизнес-модель строится на двусторонней сети — рекламодатели платят за продвижение своих посадочных страниц, а издатели монетизируют трафик, размещая у себя рекомендательные виджеты. Для такой модели, как и у Taboola, технически необходим краулер: прежде чем реклама начнёт показываться, платформе нужно проверить и разобрать содержимое посадочной страницы, которую добавил рекламодатель, — извлечь заголовок, описание и изображение для формирования объявления, а также убедиться, что страница вообще доступна и соответствует политикам площадки.

Официальной, детально задокументированной страницы про именно этого бота (аналогичной подробной справке Taboola для рекламодателей) найти не удалось — что не редкость даже для крупных, давно работающих AdTech-компаний, если сравнивать с более прозрачными операторами вроде AmazonAdBot или DuckAssistBot из этой серии.

Параметры бота

Почему шаблонная классификация «нежелательный» здесь тоже требует уточнения

Тот же принцип, что уже применялся к Taboolabot: если реальное назначение бота действительно соответствует проверке посадочных страниц рекламодателей — как и следует из его роли в исходном описании («проверяет посадочные/креативы для рекламы, brand safety или ad-verification»), — то ключевой вопрос не «вредный бот или нет», а «сайт сам является рекламодателем этой платформы или нет». Если да, обход технически необходим для запуска собственной рекламной кампании, и блокировка её ломает. Если сайт стал объектом обхода как посадочная страница чужой (партнёрской, агентской) кампании — присутствие бота не угроза, а побочный эффект чужой, но легитимной рекламной активности, ссылающейся именно на этот домен.

Как найти бота в логах

grep -i "mgidbot" /var/log/nginx/access.log

# Точечные обращения к конкретным посадочным
grep -i "mgidbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Поскольку официального списка IP нет, для проверки подлинности при аномальной активности стоит свериться с ASN конкретных IP через whois — как и с большинством ботов без опубликованного фида.

Стоит ли блокировать

• если сайт (или связанная с ним сторона) продвигает страницы через MGID — бота стоит явно разрешить, иначе рекламная кампания рискует не запуститься или работать некорректно;
• если сайт не связан с рекламой через MGID, а присутствие бота нежелательно, — блокировка не несёт последствий для органической выдачи;
• на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие этого бота не влияет — это отдельная от классической поисковой индексации рекламная система.

Как настроить доступ

Явное разрешение, если сайт размещает рекламу через MGID:

User-agent: mgidbot
Allow: /

Стандартный запрет с дублированием на уровне сервера, если присутствие бота нежелательно:

User-agent: mgidbot
Disallow: /

if ($http_user_agent ~* "mgidbot") {
    return 403;
}

Как и в случае с Taboolabot, если на сайте настроено общее правило блокировки любого UA со словом «bot», стоит проверить, не отсекает ли оно случайно и этого бота — особенно если сайт сам является рекламодателем MGID.