Gaisbot: академический краулер с открытым контактом

Строка gaisbot в базах сама себе противоречит: в описании роли честно указано, что это академический краулер университета CCU на Тайване, — но при этом оператор помечен как «не указан публично», а статус — «нежелательный». На деле у этого бота есть открытая контактная информация и собственная информационная страница, что редкость даже среди легитимных ботов в этой энциклопедии.

Что такое Gaisbot на самом деле

Gaisbot — краулер проекта GAIS (Global Area Information Servers), исследовательской поисковой системы Национального университета Чжунчжэн (National Chung Cheng University, CCU) в Тайване — государственного, ориентированного на исследования университета, основанного в 1989 году. Полная строка UA содержит прямой email-контакт вида robotNN@gais.cs.ccu.edu.tw и ссылку на информационную страницу для владельцев сайтов: http://gais.cs.ccu.edu.tw/robot.php. Это именно тот случай прозрачной самоидентификации, который отличает легитимный академический краулер от анонимного скрапера.

Важная оговорка о возрасте проекта

Задокументированные строки UA Gaisbot относятся ещё к началу 2000-х годов, и активность этого конкретного краулера в 2026 году может быть заметно ниже, чем у современных ботов. Если строка встречается в логах, стоит проверить её актуальность отдельно — возможно, речь о редком остаточном обходе старого исследовательского проекта, а не о регулярной системной активности.

Почему пометка «нежелательный» здесь особенно неуместна

У Gaisbot есть то, чего нет у большинства ботов из категории «прочие сервисы», — открытый email и информационная страница специально для вопросов владельцев сайтов. Это прямая противоположность анонимному скрапингу: если у вас есть вопросы или проблемы с нагрузкой от этого бота, можно написать напрямую в проект, а не гадать по IP и поведению.

Как найти Gaisbot в логах

# Базовый поиск
grep -i "gaisbot" /var/log/nginx/access.log

# Какие страницы вычитывает бот
grep -i "gaisbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "gaisbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Для верификации сверяйте IP через ASN — публичного списка адресов проект не публикует:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"

robots.txt и настройка через TrafficVeil

# Разрешить (стандартный вариант для академического краулера)
User-agent: gaisbot
Allow: /

# Компромисс: закрыть чувствительные разделы
User-agent: gaisbot
Disallow: /admin/
Disallow: /account/
Allow: /

TrafficVeil: разумный вариант по умолчанию — allow без rate-limit: у бота открытая контактная информация, а нагрузка от академического исследовательского проекта обычно не создаёт проблем. Если нагрузка всё же ощутима, лучше сначала написать по указанному в UA email-адресу, а не сразу блокировать, — это как раз тот редкий случай, когда прямой диалог с оператором технически возможен.

Что в итоге делать с Gaisbot