Fedicabot: превью-fetcher Fedica, а не краулер Fediverse

Fedicabot — несмотря на созвучие с «Fediverse» (Mastodon и другие федеративные соцсети), это не имеет отношения к децентрализованным платформам. Согласно официальной странице оператора, это краулер сервиса **Fedica** — крупной (более 2 млн пользователей) платформы для публикации и аналитики в соцсетях (Twitter/X, Bluesky, Mastodon, Facebook, Instagram, TikTok, LinkedIn, Pinterest). И, что важнее для оценки риска, оператор прямо заявляет: бот не обходит сайты целиком, а читает только ту страницу, которую указал конкретный пользователь.

1. Что такое Fedicabot на самом деле

Fedica — платформа для управления публикациями и аналитики соцсетей: планирование постов, аудит подписчиков на ботов, отслеживание вовлечённости, кросспостинг в несколько сетей одновременно. Официальная страница о боте (fedica.com/info/fedicabot) описывает его функцию предельно чётко: «Fedicabot — веб-краулер, который использует Fedica, чтобы помочь пользователям с публикациями в соцсетях. Бот не обходит сайты целиком, он читает только страницу, указанную пользователем».

Это классический паттерн user-triggered fetcher-а: когда пользователь Fedica планирует или публикует пост со ссылкой на вашу страницу, Fedicabot забирает с неё метаданные (заголовок, описание, изображение), чтобы построить превью-карточку для запланированной публикации — та же логика, что у link-unfurl ботов вроде Facebook External Hit или LMArenaUnfurlBot, только конечная платформа — не сама соцсеть, а сторонний инструмент публикации.

2. Зачем Fedicabot приходит на сайт

• пользователь Fedica запланировал или опубликовал через платформу пост со ссылкой на вашу страницу — бот забирает метаданные именно этой страницы для построения превью;
• по официальному описанию, обход ограничен только тем URL, который указал пользователь — системного индексирования сайта нет;
• частота визитов будет коррелировать с тем, насколько часто ваш контент публикуют или планируют к публикации пользователи Fedica, а не с фиксированным расписанием обхода.

Типичный кейс: единичный, точечный запрос к конкретной странице без последующего обхода остального сайта — прямое подтверждение этому есть в официальном описании оператора, а не только предположение по аналогии с другими fetcher-ами.

3. Нагрузка и риски

Формулировка черновика «фоновый шум в аналитике, расход CPU/bandwidth» описывает риск, характерный для системных краулеров — но здесь оператор прямо заявляет обратное: обход ограничен одной указанной страницей за раз. Нагрузка должна быть минимальной и предсказуемой, если наблюдаемое поведение соответствует официально заявленному.

Практический риск при блокировке — потеря корректного превью для постов, которые пользователи Fedica планируют или публикуют со ссылкой на ваш сайт: вместо карточки с изображением и описанием они получат голую ссылку, что снижает вовлечённость и переходы с этих публикаций.

4. Как найти Fedicabot в логах

# Базовый поиск
grep -i "fedicabot" /var/log/nginx/access.log

# Топ URL — по официальному описанию ожидаем единичные, разрозненные адреса
grep -i "fedicabot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "fedicabot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — ожидаемо нерегулярная, привязанная к публикациям пользователей Fedica
grep -i "fedicabot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка соответствия заявленному поведению: сколько уникальных URL запрошено этим UA
grep -i "fedicabot" /var/log/nginx/access.log | awk '{print $7}' | sort -u | wc -l

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + соответствие заявленному поведению (единичные точечные URL, а не широкий системный обход):

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Fedicabot

# Жёсткий запрет
User-agent: fedicabot
Disallow: /

# Разрешить всё — рекомендуемый вариант по умолчанию
User-agent: fedicabot
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку доступной для превью
User-agent: fedicabot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "fedicabot") {
    return 403;
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} fedicabot [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите fedicabot в разделе ботов домена или в /system/bots;
• для подавляющего большинства сайтов — allow обоснован по умолчанию: нагрузка по заявлению оператора минимальна, а блокировка портит превью для публикаций через Fedica;
• причины для deny здесь скорее исключение, чем правило;
• после изменения сверьте логи: хиты должны уйти в блок, а нужные поисковики остаться без изменений.

7. Что делать: короткий алгоритм

• Стандартная рекомендация — allow: официально заявленная нагрузка минимальна, а польза (корректное превью при публикации через популярный SMM-инструмент) реальна;
• Наблюдаемый паттерн шире заявленного (широкий обход, а не единичные URL) — стоит проверить IP/ASN на предмет возможного спуфинга;
• Специально блокировать имеет смысл только в редких сценариях;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит пересмотреть статус: официальная страница оператора Fedica прямо описывает Fedicabot как user-triggered fetcher, ограниченный одной указанной страницей — это противоречит текущей пометке «нежелательный» и формулировке «фоновый шум, расход CPU/bandwidth», рассчитанной на системные краулеры. Рекомендую перенести запись в категорию «Превью ссылок в соцсетях» рядом с Facebook External Hit и LMArenaUnfurlBot, и пересмотреть статус на «легитимный».

9. Стратегия allow/deny для Fedicabot