Если фильтровать access.log по adbeat-bot, часто всплывает целый пласт машинных хитов — это и есть adbeat_bot. Оператор здесь реальный и хорошо известный в мире AdTech: Adbeat — платная платформа конкурентной разведки для дисплейной рекламы (adbeat.com), которой пользуются рекламодатели, агентства и издатели, чтобы отслеживать чужие рекламные стратегии.
1. Что такое adbeat_bot
По собственному описанию Adbeat, компания запускает «интеллектуальные краулеры» из более чем 40 дата-центров и сотен высокопроизводительных серверов, которые в промышленных масштабах обходят веб в поисках рекламных объявлений — десктопных, мобильных, нативных, pre-roll видео. Данные обновляются каждые 24 часа, а сервис выполняет свыше 2 миллиардов вычислений в неделю на основе свежесобранных данных. Среди клиентов компания называет, например, файлообменный сервис Box, который использует Adbeat для отслеживания рекламных стратегий конкурентов.
| Название | adbeat_bot (также встречается как adbeat-bot) |
| User-Agent / паттерн | adbeat-bot / adbeat_bot |
| Оператор | Adbeat — платная платформа конкурентной разведки для дисплейной рекламы (adbeat.com) |
| Роль | Массовый промышленный обход веба для обнаружения рекламных объявлений и построения базы данных о рекламодателях, издателях и их взаимосвязях |
| Документация / ориентир | adbeat.com — публичный сайт компании с описанием технологии («How Adbeat Works»); отдельной first-party страницы специально для вебмастеров о политике краулинга не найдено |
| Список IP | ❌ Официального списка не найдено — с учётом обхода из 40+ дата-центров диапазон адресов, вероятно, широкий и переменчивый |
| robots.txt | Публичных данных о соблюдении не найдено |
| Пометка TrafficVeil | Нежелательный / Рекламные и AdTech-боты |
2. Зачем adbeat_bot приходит на сайт
Adbeat проверяет посадочные и рекламные креативы не ради проверки вашей собственной рекламы, а ради построения общей базы конкурентной разведки — сервис детектирует объявления на страницах и связывает их с рекламодателями и издателями, чтобы клиенты Adbeat потом искали «кто из конкурентов, где и как рекламируется». Если на вашем сайте показывается реклама (любая, не обязательно от одного конкретного поставщика), это делает сайт релевантным для сбора Adbeat независимо от вашего желания.
- Какие зоны чаще трогает: посадочные, /lp/, UTM-варианты URL, advertorial-страницы — прежде всего там, где показывается реклама;
- Что ищет: рекламные креативы и их размещение — десктопные, мобильные, нативные и pre-roll форматы объявлений;
- Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и повторяющийся, синхронизированный с суточным циклом обновления данных Adbeat.
Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — adbeat_bot. Правильная реакция — не «выключить сайт», а точечно запретить UA, особенно если сайт монетизируется не через собственные, а через сторонние рекламные сети, отслеживание которых вам ни к чему не обязывает.
3. Нагрузка и риски именно для adbeat_bot
Отдельной строки в публичной сводке top-bot TrafficVeil у adbeat-bot может не быть, но в категории «Рекламные и AdTech-боты» такие агенты дают характерный фон: лишние хиты на лендинги и thank-you page, иногда обход UTM-URL. Поскольку Adbeat обновляет данные каждый день и обходит веб в промышленных масштабах из десятков дата-центров, обход одного сайта, показывающего заметный объём рекламы, может быть регулярным и предсказуемо повторяющимся, а не разовым.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти adbeat_bot в логах
Не ищите «просто ботов» — ищите конкретный токен adbeat-bot и рядом смотрите соседей по семейству AdTech-краулеров конкурентной разведки.
# Базовый поиск
grep -i "adbeat-bot" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "adbeat-bot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA — с учётом 40+ дата-центров ожидайте широкий разброс
grep -i "adbeat-bot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — проверьте регулярность, синхронизированную с суточным циклом обновления Adbeat
grep -i "adbeat-bot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "adbeat-bot|bot" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт. Официального списка IP компания не публикует, а обход из десятков дата-центров означает широкий и, вероятно, переменчивый диапазон адресов — для решения allow/deny смотрите связку: UA + частоту + концентрацию именно на страницах с рекламой, а не на IP/ASN.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для adbeat_bot
# Жёсткий запрет
User-agent: adbeat-bot
Disallow: /
# Разрешить всё
User-agent: adbeat-bot
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: adbeat-bot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для adbeat-bot, если пользы нет. Публичных данных о соблюдении robots.txt не найдено — если агент игнорирует правило, переходите к nginx/Apache или запрету в TrafficVeil.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "adbeat-bot") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_e91c33b4a06a_key {
default "";
"~*adbeat-bot" $binary_remote_addr;
}
limit_req_zone $tv_ng_e91c33b4a06a_key zone=tv_ng_e91c33b4a06a:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_e91c33b4a06a burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} adbeat-bot [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите adbeat-bot в ботах домена или в /system/bots;
- Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
- Allow только при явной пользе — например, если вы сами клиент Adbeat и используете сервис для мониторинга собственной рекламы;
- После изменения сверьте логи: хиты adbeat_bot должны уйти в блок или лимит, а нужные поисковики остаться.
7. Рекомендации: что делать с adbeat_bot
- Если не льёте рекламу через этого игрока — можно резать, поскольку основная выгода от сбора данных достаётся клиентам Adbeat, а не вашему сайту;
- Если польза есть (вы сами клиент Adbeat) — Allow только при явной пользе;
- Если нагрузка мешает — сначала rate-limit, затем полный запрет;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: если не льёте рекламу через этого игрока — можно резать без последствий; иначе оставьте allow или rate-limit.
8. С кем не путать adbeat_bot
| Бот / сосед | Кластер | UA | Комментарий |
| adidxbot | Рекламные и AdTech-боты | adidxbot | другой оператор — Microsoft Bing Ads, проверка качества рекламы, а не конкурентная разведка |
| Amazon-Advertising-ad-standards-bot | Рекламные и AdTech-боты | amazon-advertising-ad-standards-bot | нежелательный, другой оператор |
| AmazonAdBot | Рекламные и AdTech-боты | amazonadbot | нежелательный |
| AudigentAdBot | Рекламные и AdTech-боты | audigentadbot | нежелательный |
| BomboraBot | Рекламные и AdTech-боты | bomborabot | нежелательный |
9. Стратегия allow/deny для adbeat_bot
| Ситуация | Действие |
| Вы сами клиент Adbeat | Allow + закрыть /admin /cart /api |
| Реклама на сайте есть, но Adbeat не используется | Disallow + запрет в TrafficVeil — польза достаётся только клиентам Adbeat |
| Нужен доступ, но пики мешают | Rate-limit на nginx/TrafficVeil |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Официальных IP нет — смотреть на паттерн URL (концентрация на рекламных страницах) и частоту, не только на UA |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
adbeat_bot проверяет мою собственную рекламу?
Почему сайт вообще попал в выборку этого бота?
Как часто может заходить adbeat_bot?
Публикует ли Adbeat список IP-адресов краулера?
Кому есть польза от присутствия в базе Adbeat?
Что теряет сайт при блокировке adbeat_bot?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.