SimpleAsyncPageCrawler: токен без единого следа в открытых источниках

Если фильтровать access.log по simpleasyncpagecrawler, часто всплывает целый пласт машинных хитов — это и есть SimpleAsyncPageCrawler. Честный итог проверки: это один из немногих случаев, когда за токеном действительно не удалось найти вообще ничего — ни компании, ни продукта, ни упоминания в каталогах ботов, ни на GitHub среди множества похожих по названию открытых .NET-библиотек для краулинга. Само имя по структуре («Simple» + «Async» + «PageCrawler») напоминает типовое название внутреннего класса из .NET-проекта, а не публичный бренд.

1. Что такое SimpleAsyncPageCrawler

В отличие от большинства ботов в этой энциклопедии, где хотя бы косвенно можно найти оператора через независимые каталоги, официальную документацию или упоминания в блоках обсуждений вебмастеров, для SimpleAsyncPageCrawler такого следа не нашлось нигде. Это не означает автоматически «вредоносный» — совпадение имени с типовым паттерном именования .NET-библиотек скорее говорит о небольшом, возможно внутреннем или учебном инструменте конкретного разработчика или небольшой компании, который никогда не публиковался широко и не попадал в общие реестры ботов.

2. Зачем SimpleAsyncPageCrawler приходит на сайт

Поскольку публичной информации об операторе и цели нет вообще, точную причину визита установить нельзя. Правдоподобные варианты: небольшой самописный инструмент кого-то, кто собирает данные для собственных нужд (мониторинг, исследование, личный проект); скрипт, который никогда не предназначался для широкого использования и не публиковал политику краулинга; или редкий случай инструмента, который сознательно не афиширует себя, полагаясь на то, что мало кто станет разбираться в происхождении малоизвестного токена.

• Какие зоны чаще трогает: публичные URL, иногда API и статику — конкретный паттерн для этого токена не задокументирован нигде;
• Что ищет: неизвестно — нет ни одного источника, который бы описывал цель сбора данных;
• Чем отличается от браузерного пользователя: нет нормальной сессии, как и у большинства автоматизированных клиентов.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — SimpleAsyncPageCrawler. В отличие от многих ботов этой энциклопедии, здесь нет смысла долго взвешивать «а вдруг это полезный сервис» — при полном отсутствии публичной идентичности решение стоит принимать быстро и по умолчанию в сторону ограничения.

3. Нагрузка и риски именно для SimpleAsyncPageCrawler

Отдельной строки в публичной сводке top-bot TrafficVeil у simpleasyncpagecrawler может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Дополнительный риск именно здесь — полная непрозрачность: нет ни репутации, на которую можно опереться, ни официальной страницы, куда можно обратиться в случае проблем.

4. Как найти SimpleAsyncPageCrawler в логах

Не ищите «просто ботов» — ищите конкретный токен simpleasyncpagecrawler и внимательно смотрите полную строку UA целиком на предмет любых дополнительных деталей.

# Базовый поиск
grep -i "simpleasyncpagecrawler" /var/log/nginx/access.log

# Полная строка UA — ищите любые дополнительные подсказки (версия, контакт, ссылка)
grep -i "simpleasyncpagecrawler" /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort -u

# Топ URL, которые вычитывает бот
grep -i "simpleasyncpagecrawler" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "simpleasyncpagecrawler" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "simpleasyncpagecrawler" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP нет и не может быть у токена без установленного оператора — единственный практический шаг здесь: посмотреть на IP через whois и попробовать определить хотя бы хостинг-провайдера или организацию, стоящую за запросом, поскольку никакого другого способа верификации не существует.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для SimpleAsyncPageCrawler

User-agent: simpleasyncpagecrawler
Disallow: /

Важно: раз пользы для сайта не задокументировано нигде, а оператор неизвестен, Disallow — разумный default без необходимости искать компромиссы. Поскольку соблюдение robots.txt не подтверждено, для гарантированного результата дублируйте запрет на уровне сервера.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "simpleasyncpagecrawler") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=simpleasyncpagecra:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "simpleasyncpagecrawler") {
        limit_req zone=simpleasyncpagecra burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} simpleasyncpagecrawler [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите simpleasyncpagecrawler в ботах домена или в /system/bots;
• Поскольку идентичность оператора не установлена нигде — по умолчанию категория «запретить»;
• После изменения сверьте логи: хиты SimpleAsyncPageCrawler должны уйти в блок или лимит, а нужные поисковики остаться.

7. Рекомендации: что делать с SimpleAsyncPageCrawler

• Блокируйте по умолчанию — при полном отсутствии публичной идентичности оператора искать «явную пользу» бессмысленно, её попросту неоткуда взять;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Если объём трафика значим — стоит зафиксировать IP и полную строку UA отдельно, на случай если позже появятся дополнительные данные об этом токене в открытых источниках;
• Что будет при блокировке: скорее всего ничего не теряете — задокументированной пользы для сайта нет.

8. С кем не путать SimpleAsyncPageCrawler

9. Стратегия allow/deny для SimpleAsyncPageCrawler