Боты7 мин чтения·21 августа 2026 г.·обновлено 19 ноября 2026 г.

Chrome-Lighthouse: аудит Google, а не безымянный сервисный бот

За токеном chrome-lighthouse в логах стоит открытый инструмент Google для аудита страниц по скорости, доступности и SEO — но с 2023 года часть такого трафика идёт вообще без этой метки в User-Agent, из-за чего фильтрация только по токену показывает не всю картину. Разбираемся, кто на самом деле запускает такие проверки — своя команда, сторонний мониторинг или случайный внешний аудитор через публичный PageSpeed Insights — и почему бездумная блокировка может незаметно сломать собственный мониторинг производительности.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота Chrome-Lighthouse: легитимный прочие краулеры и сервисы

Chrome-Lighthouse в логах — это не безымянный «сервисный обход», а конкретный открытый инструмент Google для аудита страниц: производительность, доступность, SEO, PWA. Запускается он не сам по себе, а по чьей-то команде — из Chrome DevTools, из PageSpeed Insights или как шаг в CI/CD-конвейере. И у этого бота есть важная техническая особенность, которую стоит знать до того, как настраивать фильтры: с 2023 года Google в части сценариев перестал добавлять токен «Chrome-Lighthouse» в конец строки User-Agent, поэтому часть реального аудиторского трафика в логах может не находиться по этому фильтру вообще.

1. Что такое Chrome-Lighthouse на самом деле

Lighthouse — открытый инструмент Google, который загружает страницу и прогоняет по ней серию автоматических аудитов: скорость загрузки, доступность для людей с ограничениями, соответствие SEO-практикам, критерии PWA. На выходе — отчёт с оценками по каждой категории. Источники запуска три: расширение/панель Lighthouse в Chrome DevTools (локально, разработчиком), веб-сервис PageSpeed Insights (доступен публично — проверить может кто угодно, введя ваш URL), и headless-запуск в CI/CD-пайплайне для регулярных проверок производительности при деплое.

Официальная (историческая) строка User-Agent выглядит как обычный Chrome/Android UA с добавленным токеном в конце:

Mozilla/5.0 (Linux; Android 11; moto g power (2022)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Mobile Safari/537.36 Chrome-Lighthouse

Важная поправка. По репорту в официальном репозитории GoogleChrome/lighthouse на GitHub, начиная примерно с 2023 года API PageSpeed Insights в части запусков перестал добавлять суффикс Chrome-Lighthouse, отправляя обычную мобильную строку Chrome без опознавательного токена. Это значит, что фильтрация access.log только по токену chrome-lighthouse покажет не весь Lighthouse-трафик, а лишь ту его часть, что всё ещё помечена явно.

Параметр Значение
Название Chrome-Lighthouse (Google Lighthouse)
Оператор Google — открытый проект, официальная документация: developer.chrome.com/docs/lighthouse
Роль Разовый или регулярный аудит конкретной страницы (производительность, SEO, доступность, PWA), не индексация контента
User-Agent / паттерн Стандартный Chrome/Android UA + суффикс Chrome-Lighthouse — но суффикс присутствует не всегда (см. выше)
Кто инициирует Чаще всего своя же команда (CI, мониторинг), но также — любой внешний человек через публичный PageSpeed Insights
robots.txt Официально не считается соблюдающим robots.txt — правило нужно дублировать серверной блокировкой
Пометка TrafficVeil Легитимный / Прочие краулеры и сервисы (точнее — Developer Helper / сервисный аудит)

2. Зачем Chrome-Lighthouse приходит на сайт

  • Своя команда проверяет производительность — вручную через DevTools, разово через PageSpeed Insights или регулярно как шаг CI/CD при каждом деплое;
  • Сторонний сервис мониторинга — если сайт подключён к системе синтетического мониторинга (например, работающей поверх Lighthouse), запросы идут по расписанию с почти cron-регулярностью;
  • Любой внешний человек — PageSpeed Insights публично доступен, и проверить производительность вашего сайта может кто угодно: конкурент, потенциальный клиент, случайный аудитор. Это не нарушение и не сбор данных для republishing — просто разовый прогон аудита.

Типичный случай: в логах фиксируются регулярные запросы к одному и тому же набору URL с интервалом в несколько минут — это, скорее всего, синтетический мониторинг или CI-проверка, а не бесконтрольный обход. Разовый нерегулярный хит на конкретную страницу — вероятно, кто-то вручную прогнал PageSpeed Insights.

3. Нагрузка и особенности

Аудит нагружает сервер иначе, чем обычный краулер: Lighthouse не просто скачивает HTML, а полноценно рендерит страницу, включая выполнение JavaScript, — с точки зрения origin-сервера один запрос Lighthouse близок по стоимости к полноценной загрузке страницы реальным браузером, а не к лёгкому HTTP-хиту.

Прежде чем ограничивать этот трафик, стоит выяснить, не ваш ли это собственный мониторинг: по данным Known Agents, чаще всего Chrome-Lighthouse на сайте появляется именно потому, что кто-то из своей же команды настроил проверку — блокировка в этом случае молча ломает мониторинг производительности, а не отсекает постороннюю нагрузку.

Поскольку суффикс UA присутствует не всегда, чисто UA-based фильтрация может недооценивать реальный объём такого трафика — при подозрении на скрытые аудиты стоит смотреть паттерн поведения (полный рендеринг страницы, характерные интервалы), а не только строку заголовка.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти Chrome-Lighthouse в логах

# Базовый поиск по явному токену
grep -i "chrome-lighthouse" /var/log/nginx/access.log

# Топ URL, которые аудирует инструмент
grep -i "chrome-lighthouse" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "chrome-lighthouse" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Регулярность — синтетический мониторинг обычно бьёт cron-паттерном
grep -i "chrome-lighthouse" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Признак "невидимого" Lighthouse-трафика без суффикса — ищите мобильный Chrome UA
# с полной загрузкой одних и тех же страниц без обычной пользовательской навигации по сайту
grep -i "Mobile Safari/537.36\"" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Верификация. Как и у большинства сервисных инструментов, у Chrome-Lighthouse нет опубликованного способа криптографически подтвердить подлинность запроса — совпадение строки UA считается лишь косвенным признаком. Смотрите на связку UA + паттерн поведения (полный рендер страницы, регулярность):

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Chrome-Lighthouse

Правило в robots.txt воспринимайте как пожелание — по открытым данным Chrome-Lighthouse не обязан его соблюдать, и для гарантированного результата запись стоит дублировать блокировкой на сервере.

# Жёсткий запрет
User-agent: Chrome-Lighthouse
Disallow: /

# Замедлить, а не запретить (соблюдается не всеми запусками)
User-agent: Chrome-Lighthouse
Crawl-delay: 10

# Компромисс: закрыть служебные разделы, оставить публичные страницы доступными для аудита
User-agent: Chrome-Lighthouse
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "chrome-lighthouse") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_564c093ce892_key {
    default "";
    "~*chrome-lighthouse" $binary_remote_addr;
}
limit_req_zone $tv_ng_564c093ce892_key zone=tv_ng_564c093ce892:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_564c093ce892 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} chrome-lighthouse [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • перед блокировкой уточните у команды разработки, не завязан ли на этот трафик собственный мониторинг производительности или CI-пайплайн;
  • если нагрузка от полного рендеринга страниц заметна на слабом origin — рассмотрите rate-limit вместо полного deny, чтобы не терять данные аудита совсем;
  • для внешних разовых прогонов через публичный PageSpeed Insights блокировка обычно не нужна — риска для данных нет, это стандартный публичный инструмент;
  • после изменения сверьте логи: явно помеченные хиты Chrome-Lighthouse должны уйти в блок/лимит, а обычные пользователи и поисковые боты — остаться без изменений.

7. Что делать: короткий алгоритм

  • Трафик — это ваш собственный CI/мониторинг — не блокируйте, при необходимости снижайте частоту через Crawl-delay;
  • Источник неясен, единичные хиты — скорее всего, кто-то вручную прогнал PageSpeed Insights, риска нет;
  • Регулярный cron-паттерн заметно грузит origin — сначала rate-limit, полный запрет — только если это точно не ваш мониторинг;
  • Подозреваете, что часть Lighthouse-трафика идёт без суффикса UA — не полагайтесь только на фильтр по токену, смотрите поведенческий паттерн;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot и YandexBot заодно.

8. С кем не путать Chrome-Lighthouse

Бот / сосед Категория Комментарий
Googlebot Поисковый краулер Индексирует контент для поиска — влияет на ранжирование, в отличие от Chrome-Lighthouse, который контент не индексирует
Google-InspectionTool Developer Helper Тоже от Google, но питает Search Console (URL Inspection, Rich Results Test), а не аудит производительности
AccessStatus Developer Helper Мониторинг HTTP-статусов (аптайм), не полноценный рендеринг страницы — легче нагружает сервер
2ip Bot Прочие краулеры и сервисы легитимный
AgentReadinessScanner Developer Helper (Cloudflare) Проверяет готовность сайта к работе с AI-агентами (llms.txt, MCP), задача принципиально другая

9. Стратегия allow/deny для Chrome-Lighthouse

Ситуация Действие
Собственный CI/CD или мониторинг производительности Allow, при нагрузке — Crawl-delay вместо блокировки
Разовые внешние прогоны через публичный PageSpeed Insights Не трогать — стандартный публичный инструмент, риска для данных нет
Регулярная заметная нагрузка от полного рендеринга страниц Rate-limit на nginx/TrafficVeil
Точно посторонний и мешает, не ваш мониторинг Disallow + запрет в TrafficVeil
Подозрение на скрытый Lighthouse-трафик без суффикса UA Смотреть поведенческий паттерн (полный рендер, регулярность), не только строку UA
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Chrome-Lighthouse — это краулер, который индексирует контент сайта?
Нет, это инструмент аудита конкретной страницы по производительности, доступности и SEO — контент он не индексирует и не сохраняет для republishing.
Правда ли, что весь Lighthouse-трафик помечен токеном chrome-lighthouse в UA?
Нет, с 2023 года часть запусков, в том числе через API PageSpeed Insights, отправляет обычный Chrome UA без этого суффикса.
Кто чаще всего запускает такие проверки на моём сайте?
Чаще всего собственная команда через CI/CD или ручной аудит, но проверить сайт может и любой внешний человек через публичный PageSpeed Insights.
Почему один запрос Lighthouse может грузить сервер сильнее обычного бота?
Потому что инструмент полноценно рендерит страницу с выполнением JavaScript, а не просто скачивает HTML.
Стоит ли сразу блокировать Chrome-Lighthouse при повышенной нагрузке?
Сначала стоит проверить, не завязан ли на этот трафик собственный CI-пайплайн или мониторинг — блокировка может незаметно сломать именно вашу диагностику.
Соблюдает ли Chrome-Lighthouse правила robots.txt?
Нет, по открытым данным он не считается соблюдающим robots.txt, поэтому для гарантированного результата запись стоит дублировать блокировкой на сервере.
#Chrome-Lighthouse#Google Lighthouse#PageSpeed Insights#User-Agent#аудит производительности#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота LighthouseBot: нежелательный прочие краулеры и сервисы
Боты·6 мин

LighthouseBot в логах: возможно, ваш же аудит

Разбираем LighthouseBot и его вероятную связь с официальным Chrome-Lighthouse от Google — инструментом аудита производительности, который двигает PageSpeed Insights. Показываем, почему это чаще ваш собственный CI/CD-аудит, чем посторонний бот, и как настроить allow/deny.

Читать
Уникальная иллюстрация бота AdsBot-Google-Mobile: легитимный рекламные и adtech-боты
Боты·7 мин

AdsBot-Google-Mobile: проверка запросов и доступ к рекламным страницам

Мобильный краулер Google Ads: официальный токен, отдельные IP-диапазоны, robots.txt и проверка доступа к рекламным страницам без безусловного доверия User-Agent.

Читать
Боты·8 мин

Chrome Prefetch Proxy в логах: не бот, а фича браузера

В логах это выглядит как ещё один автоматический клиент, но на деле — встроенный механизм Chrome, который предзагружает страницы из поисковой выдачи Google ещё до клика пользователя, пряча его IP через собственный прокси. Разбираемся, почему тут бессилен обычный robots.txt, чем его заменяет файл traffic-advice и когда предзагрузку действительно стоит ограничивать.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil