AwarioBot — семейство краулеров сервиса Awario

AwarioBot — семейство краулеров сервиса Awario (бренд-мониторинг / social listening). Боты обходят публичные страницы, чтобы находить упоминания брендов для маркетологов. Это не Googlebot: блокировка не роняет выдачу Google/Yandex, но убирает ваш контент из выдачи упоминаний в Awario.

Семья UA: в официальной документации перечислены AwarioBot, AwarioSmartBot и AwarioRssBot. В robots.txt примеры Awario чаще закрывают SmartBot + RssBot — для полноты добавляйте и AwarioBot. В энциклопедии TrafficVeil они могут быть отдельными карточками; в логах ищите все три токена.

1. Что такое AwarioBot

Параметр	Значение
User-Agent (токены)	AwarioBot, AwarioSmartBot, AwarioRssBot
Полные строки (официально)	Mozilla/5.0 (compatible; AwarioBot/1.0; +https://awario.com/bots.html) AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com) AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
Оператор	Awario
Назначение	Сбор публичных веб-данных для поиска упоминаний брендов в приложении Awario
Официальная документация	https://awario.com/bots/ (также /bots.html)
Соблюдение robots.txt	Да по документации; поддерживает Crawl-delay
Частота (официально)	Макс. ~1 запрос / 3 сек (или реже при Crawl-delay)
Список IP	❌ Нет. Awario прямо просит не идентифицировать по IP: нет consecutive IP blocks
Контакт	bots@awario.com — баги / уникальные настройки под сайт
Влияние на SEO Google/Yandex	Нет прямой связи

---

2. Awario vs другие краулеры мониторинга

Бот	Оператор	Задача	IP / verification
AwarioBot / SmartBot / RssBot	Awario	Brand mentions / listening	❌ Нет IP-листа; только UA (+ контакт bots@)
TrendictionBot	Trendiction / Brandwatch-экосистема	Мониторинг упоминаний	Своя документация / UA
Barkrowler / SerpstatBot	Babbar / Serpstat	SEO / backlinks	Есть IP feeds
Googlebot	Google	Поисковый индекс	Официальная верификация Google

Практика: без IP-листа единственный рабочий контроль — UA (+ deny в TrafficVeil). Spoofing UA возможен; смотрите паттерн частоты (~не чаще 1/3с) и отсутствие ценности для SEO при решении банить.

3. Нагрузка на сервер

По сводке TrafficVeil (bots-summary, март–июнь 2026, июнь по 14.06) паттерн awariobot набрал порядка 730 тыс. запросов (март ~25 тыс., апрель ~165 тыс., май ~444 тыс., июнь ~96 тыс.). Пик в мае.

Официально боты «вежливые» и не должны долбить одну и ту же страницу повторно без причины (новый/обновлённый контент). На слабом origin суммарный объём по доменам всё равно заметен — особенно если в логах сразу SmartBot + RssBot + AwarioBot.

Свежесть: сверьте июль–август в TrafficVeil перед жёстким баном.

4. Обнаружение в логах

# Вся семья Awario
grep -iE "AwarioBot|AwarioSmartBot|AwarioRssBot|awario.com/bots" /var/log/nginx/access.log

# Разнести по UA
grep -iE "Awario" /var/log/nginx/access.log | \
  sed -n 's/.*"\([^"]*\)".*/\1/p' | sort | uniq -c | sort -rn

# Топ URL
grep -iE "AwarioBot|AwarioSmartBot|AwarioRssBot" /var/log/nginx/access.log | \
  awk '{print $7}' | sort | uniq -c | sort -rn | head

Официальной IP-верификации нет. Не стройте allowlist по ASN «на глаз». При аномалиях пишите на bots@awario.com — Awario обещает уникальные настройки под сайт.

5. robots.txt

# Замедлить (официальный пример)
User-agent: AwarioRssBot
User-agent: AwarioSmartBot
User-agent: AwarioBot
Crawl-delay: 10

# Закрыть служебное
User-agent: AwarioRssBot
User-agent: AwarioSmartBot
User-agent: AwarioBot
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Disallow: /private/
Allow: /

# Полный запрет семьи
User-agent: AwarioRssBot
User-agent: AwarioSmartBot
User-agent: AwarioBot
Disallow: /

Можно группировать несколько User-agent перед общими директивами (как в примерах Awario). Не режьте User-agent: * / Disallow: /, думая, что «отрежете только Awario».

6. Управление на уровне сервера

Nginx

if ($http_user_agent ~* "Awario(Bot|SmartBot|RssBot)") {
    return 403;
}

# Мягкий вариант
limit_req_zone $binary_remote_addr zone=awario:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "Awario") {
        limit_req zone=awario burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Awario(Bot|SmartBot|RssBot) [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите awariobot / AwarioSmartBot / AwarioRssBot (и при необходимости общий awario);
• Если упоминания в Awario не нужны — запретить всю семью;
• На Google/Yandex это не влияет;
• Не пытайтесь строить политику только по IP — оператор сам от этого отговаривает.

7. Рекомендации

• Нужны упоминания бренда в Awario — Allow + при нагрузке Crawl-delay;
• Пользы нет / не хотите отдавать контент в listening — Disallow всех трёх UA + deny в TrafficVeil;
• Закрывайте все три токена, не только SmartBot;
• Чувствительное не должно быть публично доступно — Awario краулит то, что видит обычный посетитель;
• Проблемы с нагрузкой — сначала Crawl-delay / письмо на bots@awario.com, потом полный бан.

8. С кем не путать

Бот	Почему путают	Чем отличается
AwarioSmartBot / AwarioRssBot	Та же семья	Разные UA; закрывайте все
TrendictionBot и др. listening	Похожая задача	Другой оператор
SEO backlink-краулеры	«Ещё один бот в логах»	Awario — mentions, не ссылочный индекс
Googlebot	«Краулер = поиск»	Поисковый индекс; не резать «заодно»

9. Сводная стратегия

Цель	Действие
Оставить в Awario, снизить нагрузку	Crawl-delay / rate-limit; контакт bots@awario.com
Полностью убрать	Disallow всех трёх UA + 403/deny
Подозрение на spoofing	Нет IP-доказательства; смотрите частоту/паттерн; при сомнении — deny