Строка allafrica в access.log обычно попадает в общую графу «оператор не указан публично» — универсальную формулировку для строк, которые никто толком не разобрал. На деле за именем стоит вполне конкретная и давно существующая компания, а не анонимный агрегатор. Разбираемся, кто такой AllAfrica и почему для этого бота уместнее не общий шаблон «прочих сервисов», а его реальная бизнес-модель.
Что такое AllAfrica на самом деле
AllAfrica (AllAfrica Global Media) — крупный панафриканский новостной агрегатор, работающий с 1997 года как преемник Africa News Service, с офисами в Кейптауне, Дакаре, Абудже, Монровии, Найроби и Вашингтоне. Компания описывает себя как крупнейшего дистрибьютора африканских новостей в мире: на сайте собраны материалы из 127 африканских изданий и лент нескольких сотен организаций, а архив насчитывает свыше 400 000 материалов с 1997 года.
| Параметр | Значение |
| Название | AllAfrica |
| User-Agent / паттерн | allafrica |
| Оператор | AllAfrica Global Media (allafrica.com), реальная медиакомпания с 1997 года |
| Категория TrafficVeil | Медиа-агрегатор / синдикация контента (не техническая инфраструктура «в рамках работы платформы») |
| Наиболее вероятная причина визита | Проверка или забор материала у изданий-партнёров по соглашению о синдикации, либо получение данных о странице, на которую AllAfrica ссылается в собственном материале |
| Список IP | ❌ Официального списка компания не публикует; проверяйте ASN и поведение |
| robots.txt | Публичной документации о соблюдении robots.txt нет — ориентируйтесь на факт визита и характер запросов |
| Пометка TrafficVeil | Легитимный при наличии издательских отношений с AllAfrica; в остальных случаях — обычная проверка по IP, без автоматической тревоги |
Важная оговорка: в отличие от части других ботов из этой энциклопедии, у AllAfrica нет публичной технической документации по краулеру — компания не раскрывает механику бота так, как это делают, например, крупные поисковики. Поэтому «наиболее вероятная причина» выше — обоснованное предположение исходя из бизнес-модели компании, а не подтверждённый факт из первоисточника.
Зачем бот может приходить на сайт
Если ваш материал упоминается или цитируется в статье на allafrica.com, бот вероятно заходил, чтобы получить данные для ссылки или проверить актуальность источника. Если же ваш сайт — издание, лента которого включена в синдикацию AllAfrica, визиты, скорее всего, регулярные и привязаны к обновлению контента. В обоих случаях это не признак вредоносного скрапинга, а обычная механика новостной агрегации.
Как найти AllAfrica в логах
# Базовый поиск
grep -i "allafrica" /var/log/nginx/access.log
# Какие материалы вычитывает бот
grep -i "allafrica" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP
grep -i "allafrica" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
Раз официального списка IP нет, верификация особенно важна:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
robots.txt и настройка через TrafficVeil
# Разрешить (если издательские отношения с AllAfrica есть или желательны)
User-agent: allafrica
Allow: /
# Компромисс: закрыть служебные разделы
User-agent: allafrica
Disallow: /admin/
Disallow: /account/
Allow: /
TrafficVeil: для новостных и медийных доменов — allow без ограничений, поскольку упоминание на крупном панафриканском агрегаторе скорее полезно для охвата, чем вредно. Для доменов, не связанных с новостным контентом (например, e-commerce или сервисные сайты), появление этого UA стоит просто зафиксировать и сверить по IP, не применяя автоматический запрет.
Что в итоге делать с AllAfrica
| Ситуация | Действие |
| Издание в партнёрстве или заинтересовано в охвате через AllAfrica | Allow без rate-limit |
| Сайт не связан с новостным контентом, визиты редкие | Не блокировать автоматически — зафиксировать и сверить IP |
| Нагрузка ощутимая, а польза не нужна | Rate-limit, затем точечный Disallow / запрет в TrafficVeil |
| UA похож, но поведение агрессивное (глубокий обход, высокая частота) | Сверять по ASN — вероятен спуфинг под именем известного агрегатора |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
Правда ли, что оператор бота AllAfrica неизвестен?
Значит ли визит AllAfrica, что материал сайта уже опубликован без разрешения?
Стоит ли блокировать AllAfrica сайтам, не связанным с новостями?
Публикует ли AllAfrica официальный список IP-адресов своего бота?
Полезны ли визиты AllAfrica для новостных и медийных сайтов?
Как отличить настоящий AllAfrica от подделки UA?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.