EECS498: студенческий проект, который меняется каждый семестр

EECS498 (в CMS часто отображается как «EECS Crawler») — токен в User-Agent, типичный для учебных и исследовательских обходов: номер курса EECS 498 встречается в учебных планах по компьютерным наукам в разных университетах. Устойчивой официальной страницы политики, контакта и IP-листа для него обычно нет. Не Googlebot.

Параметры

Почему это, вероятно, не один и тот же бот из года в год

В открытых базах user-agent строк встречается конкретный вариант CELTurbo-eecs498/1.1 — судя по всему, название студенческого проекта («CELTurbo») в рамках курса с номером EECS 498. Это важная деталь: подобный номер курса по компьютерным наукам используется в учебных планах разных университетов и в разные семестры для разных заданий, среди которых нередко встречаются именно проекты по разработке поискового краулера — классическое учебное задание на курсах по информационному поиску и веб-технологиям. Практическое следствие: токен eecs498 с высокой вероятностью представляет не единого стабильного оператора, а череду разных, не связанных между собой студенческих проектов из разных университетов и годов — похожая ситуация встречается и у других generic-названий, привязанных к учебному контексту, а не к коммерческому продукту. Это объясняет, почему устойчивой документации, контакта или политики для него никогда не появляется: у каждого такого краулера жизненный цикл обычно ограничен одним семестром.

Нагрузка

По сводке TrafficVeil — порядка 2 тысяч запросов. Небольшой объём согласуется с гипотезой учебного проекта: студенческие краулеры редко рассчитаны на промышленные масштабы обхода.

Контроль

grep -i "eecs498\|EECS" /var/log/nginx/access.log

User-agent: eecs498
Disallow: /

if ($http_user_agent ~* "eecs498") {
    return 403;
}

Что ещё можно проверить

• Посмотрите на полную строку UA целиком — если там есть название проекта (как в примере CELTurbo) или контакт вроде университетского email/edu-домена, это подтвердит академическую природу трафика и поможет понять его происхождение точнее
• Проверьте, ограничивается ли обход коротким периодом времени — учебные краулеры часто активны считаные недели, а не постоянно, в отличие от коммерческих продуктов

Рекомендации

• Нет пользы и прозрачности — deny, это разумный подход по умолчанию для непрозрачного академического токена без контакта
• На Google блокировка не влияет
• Не рассчитывайте на постоянство поведения — если токен появится снова в другом семестре, это, вероятно, будет уже другой, никак не связанный проект