FastmailUA стучится за календарём, а не за вашим сайтом целиком

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а FastmailUA с User-Agent, в котором обязательно встречается подстрока fastmailua. FastmailUA — не общий обход сайта, а часть конкретной функции почтового сервиса Fastmail: синхронизация календарей. Когда пользователь Fastmail подписывается на ICS-фид календаря или настраивает синхронизацию с удалённым CalDAV-календарём, серверы Fastmail регулярно забирают данные этого календаря, чтобы держать их в актуальном состоянии внутри аккаунта пользователя. Оператор: Fastmail Pty Ltd — почтовый сервис из Мельбурна, Австралия. Классификация: легитимный сервис; решение allow/deny стоит принимать по бизнес-пользе, а не блокировать «на всякий случай».

Что такое FastmailUA

Кто на самом деле вызывает визит — и это не обязательно ваша команда

Здесь работает та же логика, что и у других сервисов, синхронизирующих данные по подписке пользователя: посетить ваш сайт с этим UA может заставить любой пользователь Fastmail где угодно в мире — не обязательно кто-то из вашей компании. Если сайт публикует календарь событий, бронирований, расписаний в формате ICS, и хотя бы один человек подписался на этот фид через свой Fastmail-аккаунт, сервис будет регулярно обращаться к этому URL для обновления данных.

• Какие зоны трогает: конкретные URL ICS-фидов или CalDAV-эндпоинтов — не сайт целиком
• Что делает: периодически перезабирает содержимое календаря для синхронизации с аккаунтом подписавшегося пользователя
• Чем отличается от браузерного пользователя: обращения регулярны и привязаны к расписанию синхронизации Fastmail, а не к посещаемости сайта людьми

Типичный кейс: маркетинг видит всплеск хитов в Метрике/GA, но сессии пустые. Причина — FastmailUA. Правильная реакция — не «выключить сайт», а сначала понять, публикует ли сайт вообще календарные фиды, и если да — точечно решить, нужна ли эта синхронизация.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у fastmailua может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и небольшое искажение статистики «живого» трафика — как правило, минимальные, поскольку обращения идут по конкретным URL календарей, а не по всему сайту.

Как найти FastmailUA в логах

# Базовый поиск — ловит все варианты, поскольку подстрока FastmailUA гарантированно есть в любой их UA
grep -i "fastmailua" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот — скорее всего, календарные фиды
grep -i "fastmailua" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "fastmailua" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "fastmailua" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Официального списка IP Fastmail не публикует — их собственная рекомендация для универсальной детекции: проверять именно наличие подстроки FastmailUA в строке User-Agent, поскольку они гарантируют её присутствие во всех своих ботах. Для дополнительной проверки поведения:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для FastmailUA

# Жёсткий запрет
User-agent: fastmailua
Disallow: /

# Разрешить всё
User-agent: fastmailua
Allow: /

# Точечно: закрыть служебные разделы, оставить календарные фиды доступными
User-agent: fastmailua
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /

Важно: если на сайте есть публичные календарные фиды (события, бронирования, расписания), которыми пользуются реальные посетители через свои почтовые/календарные сервисы — блокировка FastmailUA сломает синхронизацию именно для тех, кто использует Fastmail, оставив рабочей синхронизацию для пользователей других почтовых сервисов.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "fastmailua") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=fastmailua:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "fastmailua") {
        limit_req zone=fastmailua burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} fastmailua [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите fastmailua / FastmailUA в ботах домена или в /system/bots
• Сайт публикует календарные фиды, которыми реально пользуются — оставляйте allow, это часть штатного пользовательского сценария
• Календарных фидов на сайте нет — можно смело ставить запрет, критичных потерь не будет
• После изменения сверьте логи: хиты fastmailua должны уйти в блок/лимит, а поисковики Google/Yandex остаться без изменений

Рекомендации: что делать с FastmailUA

• Сайт публикует ICS/CalDAV-календари, на которые реально подписываются люди — не блокируйте вслепую, проверьте сначала, не сломает ли это чью-то легитимную синхронизацию
• Календарных функций на сайте нет — Disallow/403, пользы от визитов нет
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot
• Блокировка не влияет на позиции в поиске — это не SEO-краулер