Automaton: когда имя бота — обычное слово словаря, а не название бренда

У Automaton есть особенность, которая отличает его от большинства неопознанных ботов этой серии: само слово — не выдуманное название бренда, а обычный английский термин («автомат», «механическое устройство, действующее по заданной программе»), давно и широко используемый в IT-индустрии для описания практически любого инструмента автоматизации — от фреймворков браузерного тестирования до внутренних скриптов workflow-платформ. Это значит, что под одним и тем же токеном в разных источниках потенциально скрываются совершенно разные, никак не связанные друг с другом системы, которые просто выбрали одно и то же общеупотребимое слово для самоидентификации.

Почему общее слово в качестве имени бота — отдельная проблема при расследовании

Расследовать происхождение бота с уникальным, специфичным именем (как, например, Adagiobot или Epivoz) относительно просто: совпадений в поиске мало, и почти любое найденное упоминание с высокой вероятностью относится к искомому боту. С общеупотребимым словом вроде «automaton» ситуация обратная — поисковая выдача заполнена десятками не связанных друг с другом продуктов, инструментов тестирования, академических проектов и даже просто страниц, где слово используется в обычном, не относящемся к ботам смысле. Это делает невозможным быстро и уверенно связать токен из логов с конкретным коммерческим оператором без дополнительных, специфичных для сайта данных — таких как точный контекст, в котором бот появился, или совпадение с уже известной интеграцией, которую сознательно подключил сам владелец сайта.

Параметры

Что реально стоит проверить в этом случае

Раз открытый поиск по одному лишь имени малоинформативен, единственный практичный путь — реконструкция контекста на стороне самого сайта, а не попытка угадать оператора по названию:

• вспомнить или проверить с командой, не подключался ли недавно какой-либо сервис автоматизации, тестирования, мониторинга или интеграции, чьё название или внутренний компонент мог называться именно так;
• посмотреть, коррелирует ли по времени первое появление токена с моментом настройки конкретной сторонней интеграции;
• оценить поведение независимо от имени — по тем же поведенческим признакам, что применялись к другим неподтверждённым ботам этой серии.

Поведенческие признаки при отсутствии подтверждённого имени

• Глубина обхода — точечные запросы к нескольким URL против системного прохода по всей пагинации и каталогу;
• Повторяемость — вычитывает ли клиент один и тот же набор адресов регулярно (похоже на штатный сервисный компонент подключённой платформы) или каждый раз новые (похоже на массовый сбор);
• Сессионные признаки — отсутствие cookie и нормальной сессии, характерное для автоматизированных клиентов;
• Принадлежность IP — стабильная инфраструктура одного известного облачного провайдера скорее говорит о специализированном сервисе, чем о случайном скрапере.

Как найти в логах

# Базовый поиск
grep -i "automaton" /var/log/nginx/access.log

# Топ URL, которые вычитывает клиент
grep -i "automaton" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "automaton" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для проверки принадлежности IP при отсутствии официального фида — стандартная связка whois/rDNS:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

Как заблокировать или разрешить

Если по итогам внутренней проверки выяснится, что сайт действительно сознательно подключён к платформе, чей инфраструктурный компонент называется Automaton, — разумно разрешить:

User-agent: automaton
Allow: /

При отсутствии подтверждённой связи с известной интеграцией и понятной пользы для сайта — запрет по умолчанию, как и для большинства неопознанных клиентов без документации:

User-agent: automaton
Disallow: /

if ($http_user_agent ~* "automaton") {
    return 403;
}

На позиции в поисковой выдаче Google, Bing или Яндекса присутствие или отсутствие этого клиента не влияет — это не поисковый краулер ни одной из известных систем.