Authory в логах: архив вашего же автора, а не чужой краулер

Если фильтровать access.log по authory, часто всплывает целый пласт машинных хитов — это и есть Authory. Это не бот для проверки виджетов или вебхуков, как иногда пишут в общих описаниях: Authory — реальный сервис автоматического архивирования публикаций для журналистов и авторов, который сохраняет копии статей, подкастов и видео, чтобы автор не потерял свой портфель работ, даже если оригинальный сайт удалит материал или уйдёт в офлайн.

1. Что такое Authory

Authory обходит сайт не ради проверки интеграций, а ради архивации публикаций конкретных авторов: если журналист или блогер подключил к сервису свой профиль (или RSS-ленту публикаций на разных площадках), Authory регулярно сканирует эти источники, находит новые материалы и сохраняет их в личном архиве пользователя. Это создаёт постоянный, актуальный портфель работ автора, защищённый от удаления оригинала, редизайна сайта-источника или его закрытия.

2. Зачем Authory приходит на сайт

Бот сканирует ваш сайт не сам по себе, а потому что кто-то из авторов, чьи материалы у вас опубликованы (штатный автор, приглашённый колумнист, блогер), подключил профиль к Authory для личного архивирования. Визиты идут по регулярному расписанию, чтобы вовремя замечать новые публикации этого автора — частота, по общей логике архивных сервисов, обычно выше у более активно обновляемых источников.

• Какие зоны чаще трогает: публичные страницы конкретных статей, блог-постов и других материалов авторов, подключивших профиль — а не сайт произвольно;
• Что ищет: новые публикации отслеживаемых авторов для сохранения в личный архив;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обход методичный и привязан к конкретным авторским материалам, а не к сайту в целом.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — Authory. Прежде чем реагировать, стоит понимать: скорее всего это не постороннее сканирование, а архивация материалов вашего же автора, который сам подключил сервис для собственного портфолио.

3. Нагрузка и риски именно для Authory

Отдельной строки в публичной сводке top-bot TrafficVeil у authory может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий. Нагрузка от Authory обычно умеренная — сервис ориентирован на конкретных авторов, а не на сканирование сайта целиком, но на крупных медиа с большим количеством подключивших профиль авторов совокупный трафик может быть заметнее.

4. Как найти Authory в логах

Не ищите «просто ботов» — ищите конкретный токен authory и обращайте внимание, что запросы обычно сконцентрированы на материалах конкретных авторов.

# Базовый поиск
grep -i "authory" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот — проверьте, относятся ли они к конкретным авторам
grep -i "authory" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "authory" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "authory" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "authory|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + факт, что URL относятся именно к материалам конкретных авторов, а не к сайту произвольно.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Authory

# Жёсткий запрет
User-agent: authory
Disallow: /

# Разрешить всё
User-agent: authory
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: authory
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для authory, если пользы нет — но учитывайте, что «польза» здесь адресована не сайту, а конкретному автору, который сам решил архивировать свои публикации. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "authory") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=authory:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "authory") {
        limit_req zone=authory burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} authory [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите authory в ботах домена или в /system/bots;
• Перед блокировкой стоит уточнить у редакции или у самих авторов, не архивируют ли они через этот сервис свои материалы;
• Для нежелательного сценария — категория «запретить»; для мягкого — rate-limit;
• Allow оставляйте, если известно, что кто-то из штатных или приглашённых авторов пользуется сервисом;
• После изменения сверьте логи: хиты Authory должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с Authory

• Если пользы нет и никто из авторов не пользуется сервисом — Disallow/403 для authory;
• Если кто-то из авторов архивирует свои публикации через Authory — Allow, чтобы не мешать личному портфолио;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
• Что будет при блокировке: обычно ничего критичного для SEO и трафика сайта не теряете; пострадает лишь личный архив конкретного автора, если он использует сервис.

8. С кем не путать Authory

9. Стратегия allow/deny для Authory