Awario в логах: чей это бренд-мониторинг и что с ним делать

Awario стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации от сервиса социального и веб-мониторинга Awario, который отслеживает упоминания брендов, продуктов и ключевых слов для своих клиентов-маркетологов. В логах прокси это выглядит как bot-трафик, а не посещение человека из браузера, и появляется он не случайно: значит, на вашем сайте есть текст, который кто-то из клиентов Awario отслеживает по ключевым словам.

1. Что такое Awario

Awario — коммерческая платформа social listening: по собственным данным сервиса, её краулеры обходят порядка 13 миллиардов веб-страниц в сутки, собирая упоминания брендов, продуктов и тем на сайтах, в блогах, на форумах и в соцсетях. Технически это не один бот, а семейство краулеров: AwarioBot (общий сборщик), AwarioSmartBot (углублённый мониторинг брендов) и AwarioRssBot (обход через RSS-ленты).

2. Зачем Awario приходит на сайт

В отличие от сплошного обхода сайта, Awario обычно возвращается к небольшому набору конкретных страниц — а не сканирует домен целиком. По наблюдениям сторонних каталогов ботов, типичные цели — страницы с упоминанием отслеживаемого бренда: карточки товаров, новости, блог-посты, форумные обсуждения — с частотой от часовой до недельной, в зависимости от того, насколько активно клиент Awario следит за темой. Если сайт не входит в список отслеживания ни одного клиента, регулярных визитов бота может не быть вовсе.

• Какие зоны чаще трогает: конкретные страницы, где встречается отслеживаемый бренд/продукт/ключевое слово — не обязательно вся публичная часть сайта подряд;
• Что ищет: текст с упоминаниями, которые релевантны запросам клиентов Awario — данные затем идут в аналитику сентимента и мониторинга репутации;
• Чем отличается от браузерного пользователя: нет нормальной сессии, визиты идут по расписанию отслеживания конкретного клиента, а не по интересу к контенту в целом.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует awario на страницах, где упоминается конкретный бренд или продукт. После rate-limit или запрета в TrafficVeil origin остывает, а SEO-роботы Google/Yandex продолжают ходить как обычно.

3. Нагрузка и риски именно для Awario

Отдельной строки в публичной сводке top-bot TrafficVeil у awario может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Поскольку Awario фокусируется на узком наборе страниц, а не на всём сайте, суммарный объём обычно ниже, чем у краулеров, индексирующих домен целиком — но именно фокусировка на конкретных карточках/новостях делает такие визиты заметными на фоне обычного трафика этих же страниц.

Отдельный практический нюанс: сам оператор признаёт, что не публикует метод верификации и список IP, поэтому совпадение только строки UA — это подсказка, а не доказательство подлинности; заявить себя Awario может любой скрипт.

4. Как найти Awario в логах

Не ищите «просто ботов» — ищите конкретный токен awario и рядом смотрите соседей по семейству (AwarioBot, AwarioSmartBot, AwarioRssBot).

# Базовый поиск по всему семейству
grep -iE "awariobot|awariosmartbot|awariorssbot|awario" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот (обычно узкий набор — карточки, новости, упоминания бренда)
grep -i "awario" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "awario" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "awario" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "awario|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт, а сам оператор Awario не предлагает способа проверки подлинности и не использует последовательные блоки IP — поэтому для решения allow/deny смотрите связку: UA + частоту + узнаваемый набор URL (страницы с упоминанием конкретного бренда), а не IP/ASN.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Awario

# Жёсткий запрет всего семейства
User-agent: AwarioBot
Disallow: /

User-agent: AwarioSmartBot
Disallow: /

User-agent: AwarioRssBot
Disallow: /

# Мягкий вариант — не блокировать полностью, а замедлить обход
User-agent: AwarioSmartBot
User-agent: AwarioRssBot
Crawl-delay: 10

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: awario
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для awario, если пользы нет. По открытым данным оператор соблюдает robots.txt, включая Crawl-delay — это рабочий компромисс, если полностью запрещать не хочется, но и текущая частота визитов раздражает.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "awario") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=awario:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "awario") {
        limit_req zone=awario burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} awario [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите awario / AwarioBot / AwarioSmartBot / AwarioRssBot в ботах домена или в /system/bots;
• Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
• Allow оставляйте только при явной пользе от Awario — например, если сами используете сервис для мониторинга собственного бренда и хотите, чтобы обход шёл беспрепятственно;
• После изменения сверьте логи: хиты Awario должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с Awario

• Если пользы нет — Disallow/403 для awario, поскольку основная выгода от сбора данных достаётся клиентам Awario, а не вашему сайту;
• Если польза есть (например, вы сами клиент сервиса) — Allow только при явной пользе от Awario;
• Если нагрузка мешает, но резать совсем не хочется — используйте Crawl-delay или rate-limit, прежде чем переходить к полному запрету;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
• Что вы теряете при блокировке: обычно ничего критичного для SEO — это не поисковик, а инструмент конкурентной и репутационной аналитики для сторонних клиентов Awario.

8. С кем не путать Awario

9. Стратегия allow/deny для Awario