FAB-Scraper: как читать волнообразный паттерн job-queue бота без раскрытого оператора

Единственное, что можно сказать про FAB-Scraper с уверенностью, — он ведёт себя как классический сборщик по списку заданий (job queue): получает набор конкретных URL откуда-то из внутренней очереди чьего-то data-проекта и методично загружает их одну за другой. Открытых источников, которые раскрывали бы, кто именно стоит за этим именем, какой продукт использует собранные данные или как оператора можно связаться в случае вопросов, найти не удалось — и в этом смысле FAB-Scraper близок по духу к разобранному ранее Assaybot: сайту, на который он заходит, придётся решать судьбу этого трафика без опоры на репутацию бренда.

Что выдаёт архитектуру «по списку заданий»

Формулировка «загружает страницы по списку URL из очереди заданий» — не просто описание, а диагностический признак определённого типа инфраструктуры. В отличие от классического обходчика, который сам находит новые ссылки на странице и идёт по ним дальше, job-queue скрапер получает список целевых адресов извне (от диспетчера задач, базы данных или API) и просто последовательно их вычитывает. На практике это означает:

• обход может быть не связан с внутренней структурой сайта — бот способен запросить страницы в произвольном, нелогичном с точки зрения сайта порядке, потому что порядок задают внешние критерии чужого проекта, а не навигация сайта;
• интенсивность визитов волнообразная, а не равномерная — задания приходят пакетами, поэтому в логах характерны всплески активности, разделённые периодами затишья, а не стабильный фоновый RPS;
• URL в задании чаще всего уже были известны оператору заранее (например, найдены через другой источник или предоставлены клиентом data-проекта), а не открыты самим ботом в процессе обхода.

Параметры

Чем это отличается от оценки Assaybot

При таком же дефиците официальных данных, как и у Assaybot, у FAB-Scraper есть одна дополнительная зацепка для анализа: волнообразный, пакетный паттерн обращений сам по себе говорит о типе задачи. Если в логах видно, что бот резко запрашивает пачку конкретных страниц, затем замолкает на часы или дни, а потом снова активизируется с новым набором URL — это типичное поведение стороннего data-проекта, который периодически обновляет свой набор целей (например, регулярный мониторинг цен, доступности или изменений на заранее определённом списке страниц), а не разового массового сбора всего сайта.

Как найти бота в логах

# Базовый поиск
grep -i "fab-scraper" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "fab-scraper" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Суточная активность — здесь особенно важно смотреть именно волнообразность
grep -i "fab-scraper" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Если набор URL из раза в раз повторяется почти без изменений — это говорит о регулярном мониторинге конкретных страниц; если каждый новый визит приносит совершенно другой список — вероятнее разовые выгрузки под меняющиеся задачи чужого проекта.

Как заблокировать

При отсутствии подтверждённой пользы для сайта — запрет по умолчанию:

User-agent: fab-scraper
Disallow: /

if ($http_user_agent ~* "fab-scraper") {
    return 403;
}

Если пакетный характер визитов делает полную блокировку избыточной реакцией (например, объём в целом небольшой, а хочется просто сгладить волновые пики нагрузки), альтернатива — ограничение частоты:

limit_req_zone $binary_remote_addr zone=fabscraper:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "fab-scraper") {
        limit_req zone=fabscraper burst=20 nodelay;
    }
}

На позиции в поисковой выдаче Google, Bing или Яндекса присутствие или отсутствие FAB-Scraper не влияет — это не поисковый краулер ни одной из известных систем. При отсутствии официальной документации и подтверждённой пользы для владельца сайта запрет по умолчанию остаётся оправданной низкорисковой позицией.