Бот AllAfrica в логах: кто это на самом деле

Строка allafrica в access.log обычно попадает в общую графу «оператор не указан публично» — универсальную формулировку для строк, которые никто толком не разобрал. На деле за именем стоит вполне конкретная и давно существующая компания, а не анонимный агрегатор. Разбираемся, кто такой AllAfrica и почему для этого бота уместнее не общий шаблон «прочих сервисов», а его реальная бизнес-модель.

Что такое AllAfrica на самом деле

AllAfrica (AllAfrica Global Media) — крупный панафриканский новостной агрегатор, работающий с 1997 года как преемник Africa News Service, с офисами в Кейптауне, Дакаре, Абудже, Монровии, Найроби и Вашингтоне. Компания описывает себя как крупнейшего дистрибьютора африканских новостей в мире: на сайте собраны материалы из 127 африканских изданий и лент нескольких сотен организаций, а архив насчитывает свыше 400 000 материалов с 1997 года.

Важная оговорка: в отличие от части других ботов из этой энциклопедии, у AllAfrica нет публичной технической документации по краулеру — компания не раскрывает механику бота так, как это делают, например, крупные поисковики. Поэтому «наиболее вероятная причина» выше — обоснованное предположение исходя из бизнес-модели компании, а не подтверждённый факт из первоисточника.

Зачем бот может приходить на сайт

Если ваш материал упоминается или цитируется в статье на allafrica.com, бот вероятно заходил, чтобы получить данные для ссылки или проверить актуальность источника. Если же ваш сайт — издание, лента которого включена в синдикацию AllAfrica, визиты, скорее всего, регулярные и привязаны к обновлению контента. В обоих случаях это не признак вредоносного скрапинга, а обычная механика новостной агрегации.

Как найти AllAfrica в логах

# Базовый поиск
grep -i "allafrica" /var/log/nginx/access.log

# Какие материалы вычитывает бот
grep -i "allafrica" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "allafrica" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Раз официального списка IP нет, верификация особенно важна:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (если издательские отношения с AllAfrica есть или желательны)
User-agent: allafrica
Allow: /

# Компромисс: закрыть служебные разделы
User-agent: allafrica
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: для новостных и медийных доменов — allow без ограничений, поскольку упоминание на крупном панафриканском агрегаторе скорее полезно для охвата, чем вредно. Для доменов, не связанных с новостным контентом (например, e-commerce или сервисные сайты), появление этого UA стоит просто зафиксировать и сверить по IP, не применяя автоматический запрет.

Что в итоге делать с AllAfrica