Iframely уходит, едва прочитав <meta> — вот почему он такой лёгкий

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а Iframely с User-Agent iframely. Iframely — сервис компании Itteco Software Corp. (также открытый MIT-проект, доступный для self-hosting с 2013 года), который создаёт превью-карточки для ссылок в приложениях и сервисах, использующих Iframely как бэкенд. Робот срабатывает точечно: когда конкретный пользователь делится ссылкой на вашу страницу, Iframely забирает метаданные именно для этой ссылки — Open Graph, Twitter Cards, oEmbed, структурированные данные Google — чтобы построить красивую карточку превью. Оператор: Itteco Software Corp. Классификация: легитимный fetcher; решение allow/deny стоит принимать по бизнес-пользе — важны ли вам превью ссылок на платформах, использующих Iframely.

Что такое Iframely

Почему это «лёгкий» бот, а не тяжёлый краулер

По официальному описанию, парсеры Iframely намеренно вычитывают как можно меньше содержимого страницы — обычно останавливаются сразу после получения секции ``, не дожидаясь и не разбирая `` целиком. Если теги ссылаются на изображение, видео или аудио, дополнительно проверяется и этот файл — но не более того. Это заметно легче типичного полноценного краулера, который вычитывает страницу целиком.

Важный совет для SPA-сайтов

Если сайт построен на React, Angular, Redux или похожих технологиях с рендерингом на клиенте, официальная документация прямо рекомендует настроить prerendering страниц специально для робота Iframely — иначе он не увидит нужные метатеги вообще, поскольку не исполняет JavaScript, а просто читает исходный HTML-ответ.

Зачем Iframely приходит на сайт

• Какие зоны трогает: ровно ту страницу, на которую сослался конкретный пользователь, — не сайт целиком и не по ссылкам с неё
• Что ищет: Open Graph, Twitter Cards, oEmbed, структурированные данные Google; если ничего из этого нет — использует обычные SEO title/description
• Чем отличается от браузерного пользователя: нет сессии, визит происходит практически сразу после того, как кто-то поделился ссылкой, и не повторяется без нового шера

Типичный кейс: в аналитике заметен всплеск хитов на одну конкретную страницу без роста реальных сессий. Причина — Iframely среагировал на чей-то шер именно этой ссылки в стороннем приложении.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у iframely может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают минимальный фон — учитывая точечную, «лёгкую» природу запросов (только метаданные, без полного тела страницы), заметная нагрузка от одного только Iframely маловероятна, если только сайт не переживает вирусный всплеск шеров.

Как найти Iframely в логах

# Базовый поиск
grep -i "iframely" /var/log/nginx/access.log

# Топ URL, которые запрашивает бот
grep -i "iframely" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "iframely" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "iframely" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Подделать User-Agent может любой скрипт. Официальный компактный публичный список IP найти не удалось, хотя сама документация Iframely упоминает allowlist по IP как опцию. Смотрите связку UA + поведение (одиночный хит на конкретный URL сразу после вероятного шера, без последующего обхода) — это отличает настоящий Iframely от случайного совпадения строки.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt для Iframely

# Жёсткий запрет
User-agent: iframely
Disallow: /

# Разрешить всё
User-agent: iframely
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: iframely
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: учитывая расхождение источников по фактическому соблюдению robots.txt, для гарантии дублируйте политику на сервере, а не полагайтесь только на файл.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "iframely") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=iframely:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "iframely") {
        limit_req zone=iframely burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} iframely [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите iframely / Iframely в ботах домена или в /system/bots
• Важны красивые превью ссылок на платформах, использующих Iframely, — оставляйте allow
• Превью не критичны — можно ограничить без заметных потерь, учитывая лёгкую природу запросов

Рекомендации: что делать с Iframely

• Важны привлекательные превью при шеринге ссылок — Allow; заодно проверьте, что Open Graph теги на сайте настроены корректно, и добавьте prerendering, если сайт построен на SPA-фреймворке
• Превью не имеют значения для бизнеса — Disallow/403, критичных потерь не будет
• Не забывайте: блокировка означает, что ссылки на ваш сайт при шеринге на платформах, использующих Iframely, будут выглядеть как обычный текст без карточки — это может снижать вовлечённость и переходы

С кем не путать Iframely