Моё видео есть на YouTube. Нужно ли что-то делать, чтобы оно появилось в Google Search?

YouTube-видео индексируются Google автоматически. Если вы встраиваете YouTube-видео на свой сайт через , добавьте Schema.org VideoObject на страницу с embedUrl и contentUrl, указывающими на YouTube. Это поможет Google связать видео с вашей страницей и показать её в видеорезультатах, а не только саму YouTube-страницу.

Почему моё видео не появляется в видеорезультатах Google?

Основные причины: отсутствует или некорректная разметка Schema.org VideoObject; thumbnail недоступен или меньше 1200×630px; видеофайл заблокирован в robots.txt или требует авторизации; нет Video Sitemap; поле uploadDate отсутствует или в неверном формате; дублирующиеся видео без canonical. Проверьте через Rich Results Test (search.google.com/test/rich-results).

Что такое Range Requests и почему это важно?

HTTP Range Requests позволяют краулеру скачивать только часть видеофайла (например, первые 1 MB) вместо всего файла целиком. Если сервер не поддерживает Range Requests (не возвращает Accept-Ranges: bytes и код 206), Googlebot-Video будет скачивать видео полностью при каждом визите — это создаёт огромную нагрузку на трафик. Проверьте командой: curl -I -H "Range: bytes=0-1023" https://example.com/video.mp4.

Как добавить главы (chapters) в видеосниппет Google?

Два способа: через Schema.org разметку с типом Clip в поле hasPart объекта VideoObject (указываете startOffset и endOffset в секундах для каждой главы); или для YouTube-видео — добавьте временны́е метки в описании на YouTube в формате «0:00 Название», Google прочитает их автоматически через 1–3 дня. Главы значительно повышают CTR сниппета в поиске.

Нужен ли транскрипт видео для SEO?

Настоятельно рекомендуется. Google не умеет полностью «смотреть» видео как человек — текстовый транскрипт позволяет краулеру понять содержание и проиндексировать ключевые слова из видео. Транскрипт на странице дополнительно увеличивает текстовую релевантность. Это особенно важно для образовательного, технического и информационного видеоконтента.

Как заблокировать Googlebot-Video для платного контента?

Лучший подход — не блокировать, а использовать Schema.org разметку paywall: "isAccessibleForFree": false. Это позволяет Google корректно отображать платный контент в поиске с пометкой о подписке. Для технической блокировки используйте robots.txt (Disallow для папок с платным контентом) или авторизацию на уровне сервера.

Как часто Googlebot-Video обходит сайт?

Зависит от размера сайта, авторитета и частоты добавления нового видео. Для небольших сайтов — несколько раз в неделю. Для крупных видеоплатформ — ежедневно или чаще. При добавлении нового видео в Video Sitemap и отправке пинга Google — обход может произойти в течение нескольких часов.

Видео хранится на CDN. Увидит ли его Googlebot-Video?

Да, при условии что URL видеофайла на CDN публичный и не требует авторизации. Укажите полный CDN URL в поле contentUrl Schema.org VideoObject и в Video Sitemap. Убедитесь что CDN не блокирует запросы от IP-диапазонов Google и поддерживает Range Requests.

Что будет, если полностью заблокировать Googlebot-Video?

Видео исчезнет из раздела «Видео» Google Search и из видеорезультатов в основной выдаче. Страницы с видео продолжат индексироваться основным Googlebot, но без видеосниппета — только как обычные текстовые результаты. Трафик из видеопоиска упадёт до нуля. Блокируйте только конкретные папки с приватным контентом, но не весь краулер.

Googlebot-Video

Q: Чем Googlebot-Video отличается от основного Googlebot?

Googlebot-Video специализируется исключительно на видеоконтенте: он анализирует видеофайлы, метаданные, транскрипты и thumbnail-изображения. В отличие от основного Googlebot, он использует HTTP Range Requests для частичного скачивания видеофайлов и активно работает с Video Sitemap и Schema.org VideoObject. Основной Googlebot видео «видит», но именно Googlebot-Video отвечает за попадание видео в раздел «Видео» Google Search.

Правильная настройка работы с Googlebot-Video критически важна для YouTube-каналов, встраивающих видео на сайт, видеохостингов, образовательных платформ, медиапорталов и любых сайтов, которые хотят получать трафик из видеорезультатов Google Search.

1. Что такое Googlebot-Video

1.1 User-Agent строка

Googlebot-Video/1.0
 
# Полная строка:
Mozilla/5.0 (compatible; Googlebot-Video/1.0; +http://www.google.com/bot.html)

1.2 Место в экосистеме Google-ботов

Краулер	Зона ответственности	Скорость индексации
Googlebot (Desktop/Mobile)	Основной поиск, общая индексация	Часы — недели
Googlebot-Video	Видеорезультаты Google Search, Google Videos	Часы — дни
Googlebot-News	Google News, Top Stories, Discover	Минуты — часы
Googlebot-Image	Google Images	Часы — дни

1.3 Куда попадает видеоконтент

Поверхность	Описание	Требования
Видеорезультаты в Google Search	Карточки с превью видео в основной выдаче	Schema.org VideoObject или Video Sitemap
Вкладка «Видео» в Google Search	Фильтрованная выдача по видео	Видео должно быть доступно для краулера
Google Videos (videos.google.com)	Специализированный видеопоиск	Публичный доступ к видеофайлу
Google Discover	Лента рекомендаций	Качественный контент, хорошие E-E-A-T сигналы
Rich Results (расширенные сниппеты)	Видео с временными метками в выдаче	Schema.org VideoObject с Clip / SeekToAction

1.4 IP-адреса

Googlebot-Video использует те же IP-диапазоны Google (AS15169), что и основной Googlebot. Актуальный список:

https://developers.google.com/search/apis/ipranges/googlebot.json

⚠ Большинство запросов с User-Agent «Googlebot-Video» в логах — поддельные боты. Единственный надёжный способ проверки — двухэтапная DNS-верификация (reverse + forward lookup на crawl-*.googlebot.com).

2. Как работает Googlebot-Video

2.1 Этапы обхода

Основной Googlebot обходит HTML-страницу и обнаруживает видео в разметке (<video>, <iframe>, Schema.org, Video Sitemap).
URL видео и страницы-носителя добавляются в очередь Googlebot-Video.
Googlebot-Video скачивает и анализирует видеофайл (или обращается к iframe-источнику).
Извлекаются метаданные: длительность, формат, разрешение, кодек.
Анализируется контекст: заголовок, описание, транскрипт, главы, временны́е метки.
Генерируется превью-изображение (thumbnail) для отображения в выдаче.
Видео индексируется и может появиться в видеорезультатах Google Search.

2.2 Что Googlebot-Video анализирует

Элемент	Что извлекается	Важность
Заголовок видео (`name` в Schema.org)	Основная тема видео	⭐⭐⭐⭐⭐ Критически важно
Описание (`description`)	Контекст, ключевые слова	⭐⭐⭐⭐⭐ Критически важно
Thumbnail (превью)	Изображение для сниппета в выдаче	⭐⭐⭐⭐⭐ Критически важно
Длительность (`duration`)	Отображается в сниппете	⭐⭐⭐⭐ Очень важно
Дата публикации (`uploadDate`)	Свежесть контента	⭐⭐⭐⭐ Очень важно
Транскрипт / субтитры	Текстовое содержание видео	⭐⭐⭐⭐ Очень важно
Главы / временны́е метки (`Clip`)	Навигация по видео в выдаче	⭐⭐⭐⭐ Очень важно
URL видеофайла (`contentUrl`)	Прямая ссылка на файл	⭐⭐⭐⭐ Очень важно
Embed URL (`embedUrl`)	URL для встраивания (iframe)	⭐⭐⭐ Важно
Автор / канал	E-E-A-T сигналы	⭐⭐⭐ Важно
Лицензия на контент	Права использования	⭐⭐ Умеренно

2.3 Поддерживаемые форматы видео

Формат	Поддержка	Рекомендация
MP4 (H.264/H.265)	✔ Полная	Основной формат, наиболее совместимый
WebM (VP8/VP9/AV1)	✔ Полная	Рекомендуется: меньше размер при том же качестве
MOV (QuickTime)	✔ Частичная	Конвертируйте в MP4 перед публикацией
AVI	✔ Частичная	Устаревший формат, конвертируйте в MP4
MPEG / MPG	✔ Частичная	Конвертируйте в MP4
FLV	✖ Не поддерживается	Устаревший, конвертируйте в MP4/WebM
MKV	✖ Не поддерживается	Конвертируйте в MP4 перед публикацией
YouTube embed (`<iframe>`)	✔ Полная	Предпочтительный способ для YouTube-видео

2.4 Как Googlebot-Video находит видео

Через HTML-тег <video>:

<video controls width="1280" height="720"
       poster="/images/video-preview.jpg">
  <source src="/videos/lesson-01.mp4" type="video/mp4">
  <source src="/videos/lesson-01.webm" type="video/webm">
  <track kind="subtitles" src="/subtitles/ru.vtt" srclang="ru" label="Русский">
  <track kind="subtitles" src="/subtitles/en.vtt" srclang="en" label="English">
</video>

Через YouTube iframe (наиболее распространённый способ):

<iframe width="1280" height="720"
        src="https://www.youtube.com/embed/VIDEO_ID"
        title="Заголовок видео"
        allow="accelerometer; autoplay; clipboard-write;
               encrypted-media; gyroscope; picture-in-picture"
        allowfullscreen>
</iframe>

Через Video Sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
  <url>
    <loc>https://example.com/lessons/lesson-01/</loc>
    <video:video>
      <video:thumbnail_loc>https://example.com/images/lesson-01-thumb.jpg</video:thumbnail_loc>
      <video:title>Урок 1: Введение в Python для начинающих</video:title>
      <video:description>Первый урок курса Python: переменные, типы данных, первая программа</video:description>
      <video:content_loc>https://example.com/videos/lesson-01.mp4</video:content_loc>
      <video:player_loc>https://example.com/player/?video=lesson-01</video:player_loc>
      <video:duration>1842</video:duration>
      <video:publication_date>2026-05-01T10:00:00+03:00</video:publication_date>
      <video:family_friendly>yes</video:family_friendly>
      <video:live>no</video:live>
      <video:tag>python</video:tag>
      <video:tag>программирование</video:tag>
      <video:category>Образование</video:category>
    </video:video>
  </url>
</urlset>

Через Schema.org VideoObject (основной способ):

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "VideoObject",
  "name": "Урок 1: Введение в Python для начинающих",
  "description": "Первый урок курса Python: переменные, типы данных, первая программа",
  "thumbnailUrl": "https://example.com/images/lesson-01-thumb.jpg",
  "uploadDate": "2026-05-01T10:00:00+03:00",
  "duration": "PT30M42S",
  "contentUrl": "https://example.com/videos/lesson-01.mp4",
  "embedUrl": "https://example.com/player/?video=lesson-01",
  "interactionStatistic": {
    "@type": "InteractionCounter",
    "interactionType": "https://schema.org/WatchAction",
    "userInteractionCount": 15420
  },
  "author": {
    "@type": "Person",
    "name": "Иван Иванов"
  },
  "publisher": {
    "@type": "Organization",
    "name": "Название платформы",
    "logo": {
      "@type": "ImageObject",
      "url": "https://example.com/logo.png"
    }
  }
}
</script>

3. Расширенные возможности: главы и временны́е метки

Одна из самых ценных функций для видео в Google Search — отображение глав (chapters) и временны́х меток прямо в сниппете выдачи. Это позволяет пользователю перейти к нужному моменту видео без просмотра целиком и значительно повышает CTR.

3.1 Clip — разметка глав через Schema.org

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "VideoObject",
  "name": "Полный курс по Python — 3 часа",
  "thumbnailUrl": "https://example.com/images/python-course-thumb.jpg",
  "uploadDate": "2026-05-01T10:00:00+03:00",
  "duration": "PT3H12M",
  "contentUrl": "https://example.com/videos/python-full-course.mp4",
  "hasPart": [
    {
      "@type": "Clip",
      "name": "Введение и установка Python",
      "startOffset": 0,
      "endOffset": 420,
      "url": "https://example.com/videos/python-full-course.mp4#t=0"
    },
    {
      "@type": "Clip",
      "name": "Переменные и типы данных",
      "startOffset": 420,
      "endOffset": 1200,
      "url": "https://example.com/videos/python-full-course.mp4#t=420"
    },
    {
      "@type": "Clip",
      "name": "Функции и область видимости",
      "startOffset": 1200,
      "endOffset": 2400,
      "url": "https://example.com/videos/python-full-course.mp4#t=1200"
    }
  ]
}
</script>

3.2 SeekToAction — навигация по временны́м меткам

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "VideoObject",
  "name": "Урок по Python",
  "thumbnailUrl": "https://example.com/thumb.jpg",
  "uploadDate": "2026-05-01T10:00:00+03:00",
  "duration": "PT45M",
  "contentUrl": "https://example.com/video.mp4",
  "potentialAction": {
    "@type": "SeekToAction",
    "target": "https://example.com/video.mp4#t={seek_to_second_number}",
    "startOffset-input": "required name=seek_to_second_number"
  }
}
</script>

3.3 Главы через описание YouTube

Если видео размещено на YouTube и встроено через iframe, главы добавляются в описании YouTube — Google читает их автоматически:

Описание видео на YouTube:
 
0:00 Введение
7:00 Переменные и типы данных
20:00 Функции
35:00 Объектно-ориентированное программирование
52:00 Работа с файлами
1:05:00 Итоги и домашнее задание
 
# Главы появятся в Google Search автоматически через 1–3 дня

4. Нагрузка на сервер

Googlebot-Video создаёт специфическую нагрузку: в отличие от HTML-страниц, видеофайлы могут весить гигабайты. Краулер не скачивает видео целиком — он запрашивает только начальные байты для определения формата и метаданных, но даже частичные запросы к тяжёлым файлам создают ощутимую нагрузку.

4.1 Типичная нагрузка по типам сайтов

Тип сайта	Количество видео	Нагрузка
Блог с редкими видео	1–10 видео на сайте	Незаметная
Корпоративный сайт	10–100 видео	Низкая, редкие визиты
Образовательная платформа	100–10 000 видео	Ощутимая, особенно при первичном обходе
Видеохостинг	Миллионы видео	Очень высокая, нужен crawl control
UGC-платформа	Постоянный прирост	Высокая, непредсказуемая

4.2 Факторы, увеличивающие нагрузку

Видеофайлы на origin-сервере без CDN — краулер напрямую обращается к серверу
Отсутствие поддержки Range Requests — бот вынужден загружать файл целиком вместо частичного запроса
Нет кеш-заголовков — повторные запросы не кешируются
Большое количество видео без Video Sitemap — бот обходит все страницы в поисках видео
Дублирующиеся видео по разным URL — одно видео индексируется несколько раз
Заблокированные thumbnails — бот не может получить превью и повторяет попытки

4.3 Поддержка Range Requests — критически важно

Googlebot-Video использует HTTP Range Requests для частичного скачивания видеофайлов. Если сервер не поддерживает Range Requests, краулер скачивает файл целиком — это резко увеличивает нагрузку и трафик.

# Проверка поддержки Range Requests:
curl -I -H "Range: bytes=0-1023" https://example.com/videos/video.mp4
 
# Правильный ответ (должен быть 206 Partial Content):
HTTP/1.1 206 Partial Content
Content-Range: bytes 0-1023/104857600
Accept-Ranges: bytes

Включение Range Requests в Nginx:

location ~* \.(mp4|webm|mov|avi)$ {
    mp4;
    mp4_buffer_size     1m;
    mp4_max_buffer_size 5m;
    add_header Accept-Ranges bytes;
    add_header Cache-Control "public, max-age=86400";
}

5. Обнаружение в логах

5.1 Как выглядит запись

# Запрос страницы с видео:
66.249.66.1 - - [08/May/2026:11:45:22 +0000] \
  "GET /lessons/lesson-01/ HTTP/1.1" 200 24832 "-" \
  "Mozilla/5.0 (compatible; Googlebot-Video/1.0; +http://www.google.com/bot.html)"
 
# Запрос видеофайла (Range Request — хороший признак):
66.249.66.1 - - [08/May/2026:11:45:23 +0000] \
  "GET /videos/lesson-01.mp4 HTTP/1.1" 206 1048576 \
  "https://example.com/lessons/lesson-01/" \
  "Mozilla/5.0 (compatible; Googlebot-Video/1.0; +http://www.google.com/bot.html)"
 
# Запрос thumbnail:
66.249.66.1 - - [08/May/2026:11:45:24 +0000] \
  "GET /images/lesson-01-thumb.jpg HTTP/1.1" 200 87432 \
  "https://example.com/lessons/lesson-01/" \
  "Mozilla/5.0 (compatible; Googlebot-Video/1.0; +http://www.google.com/bot.html)"

5.2 Аналитика через grep

Найти все запросы Googlebot-Video:

grep -i 'Googlebot-Video' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'Googlebot-Video' access.log | wc -l

Топ обходимых видеостраниц:

grep -i 'Googlebot-Video' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -30

Только запросы к видеофайлам (mp4, webm):

grep -i 'Googlebot-Video' access.log \
  | grep -E '\.(mp4|webm|mov|avi)' \
  | awk '{print $7}' | sort | uniq -c | sort -nr

HTTP-коды ответов:

grep -i 'Googlebot-Video' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Суммарный трафик видеофайлов (bandwidth):

grep -i 'Googlebot-Video' access.log \
  | grep -E '\.(mp4|webm)' \
  | awk '{sum+=$10} END{print sum/1024/1024 " MB"}'

Проверка Range Requests (206 = хорошо, бот не качает целиком):

grep -i 'Googlebot-Video' access.log | awk '$9==206' | wc -l

Live-мониторинг:

tail -f /var/log/nginx/access.log | grep --line-buffered 'Googlebot-Video'

5.3 Верификация подлинности

#!/bin/bash
# Проверка: настоящий ли Googlebot-Video?
IP=$1
HOST=$(host $IP | awk '{print $NF}')
if [[ $HOST == *googlebot.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  [[ $FWD == $IP ]] && echo "✔ Настоящий Googlebot-Video" || echo "✖ DNS mismatch"
else
  echo "✖ Fake Googlebot-Video (нет PTR записи googlebot.com)"
fi

6. SEO-оптимизация для видеорезультатов Google

6.1 Thumbnail — обязательный элемент

Thumbnail — превью-изображение видео — самый важный визуальный элемент сниппета в поиске. Без качественного thumbnail видео не попадёт в видеорезультаты.

Минимальный размер: 1200 × 630px (рекомендуется 1280 × 720px)
Соотношение сторон: 16:9
Формат: JPEG или WebP
Должен быть доступен без авторизации по прямому URL
Не использовать изображения с большим количеством текста поверх
Thumbnail должен соответствовать содержанию видео

<!-- ✔ Хорошо: несколько thumbnail под разные соотношения -->
{
  "@type": "VideoObject",
  "name": "Урок Python",
  "thumbnailUrl": [
    "https://example.com/thumb/video-1x1.jpg",
    "https://example.com/thumb/video-4x3.jpg",
    "https://example.com/thumb/video-16x9.jpg"
  ]
}

6.2 Длительность в формате ISO 8601

Длительность отображается в сниппете и помогает пользователю принять решение о просмотре:

"duration": "PT30S"       # 30 секунд
"duration": "PT5M30S"     # 5 минут 30 секунд
"duration": "PT1H30M"     # 1 час 30 минут
"duration": "PT2H15M45S"  # 2 часа 15 минут 45 секунд
 
# Получить длительность видеофайла через ffprobe:
ffprobe -v quiet -show_entries format=duration \
  -of default=noprint_wrappers=1:nokey=1 video.mp4

6.3 Транскрипт и субтитры

Транскрипт — один из самых недооценённых факторов для видео SEO. Google индексирует текст транскрипта и использует его для понимания содержания и ранжирования по ключевым словам.

Субтитры в формате VTT:

WEBVTT
 
00:00:00.000 --> 00:00:05.000
Привет! Сегодня мы начинаем изучать Python.
 
00:00:05.000 --> 00:00:12.000
Python — один из самых популярных языков программирования в мире.
 
00:00:12.000 --> 00:00:20.000
В этом уроке мы разберём переменные, типы данных и напишем первую программу.

Подключение субтитров в HTML:

<video controls>
  <source src="/video.mp4" type="video/mp4">
  <track kind="subtitles" src="/subtitles/ru.vtt"
         srclang="ru" label="Русский" default>
  <track kind="subtitles" src="/subtitles/en.vtt"
         srclang="en" label="English">
</video>

Транскрипт текстом на странице (дополнительно к субтитрам):

<section class="video-transcript">
  <h2>Транскрипт урока</h2>
  <p>Привет! Сегодня мы начинаем изучать Python. Python — один из самых
  популярных языков программирования...</p>
</section>

6.4 Видео с YouTube — правильная разметка

YouTube-видео, встроенные через <iframe>, индексируются автоматически. Для максимальной видимости добавляйте Schema.org VideoObject даже для YouTube-видео:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "VideoObject",
  "name": "Урок 1: Введение в Python",
  "description": "Подробное описание содержания видеоурока",
  "thumbnailUrl": "https://img.youtube.com/vi/VIDEO_ID/maxresdefault.jpg",
  "uploadDate": "2026-05-01T10:00:00+03:00",
  "duration": "PT30M42S",
  "embedUrl": "https://www.youtube.com/embed/VIDEO_ID",
  "contentUrl": "https://www.youtube.com/watch?v=VIDEO_ID"
}
</script>

Стандартные thumbnail URL для YouTube:

https://img.youtube.com/vi/VIDEO_ID/hqdefault.jpg     # 480x360
https://img.youtube.com/vi/VIDEO_ID/maxresdefault.jpg  # 1280x720 (рекомендуется)

6.5 Видео с платным доступом (Paywall)

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "VideoObject",
  "name": "Продвинутый курс Python — Урок 5",
  "thumbnailUrl": "https://example.com/thumb/lesson-5.jpg",
  "uploadDate": "2026-05-01T10:00:00+03:00",
  "duration": "PT45M",
  "isAccessibleForFree": false,
  "hasPart": {
    "@type": "WebPageElement",
    "isAccessibleForFree": false,
    "cssSelector": ".video-player"
  },
  "offers": {
    "@type": "Offer",
    "price": "990",
    "priceCurrency": "RUB",
    "url": "https://example.com/pricing/"
  }
}
</script>

7. Управление Googlebot-Video

7.1 robots.txt

ℹ robots.txt — это соглашение, а не техническая блокировка. Настоящий Googlebot-Video его уважает. Полная блокировка означает исчезновение видео из Google Search.

Полная блокировка (крайний случай):

User-agent: Googlebot-Video
Disallow: /

Блокировка приватных директорий:

User-agent: Googlebot-Video
Disallow: /private-videos/
Disallow: /members-only/
Disallow: /drafts/

Блокировка видеофайлов, разрешив страницы с видео:

User-agent: Googlebot-Video
Disallow: /*.mp4$
Disallow: /*.webm$

Разрешить основной Googlebot, заблокировать только Googlebot-Video:

User-agent: Googlebot
Disallow:
 
User-agent: Googlebot-Video
Disallow: /
 
User-agent: *
Disallow: /admin/

Рекомендуемый robots.txt для видеоплатформы:

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Disallow: /*?quality=
Disallow: /*?format=
Allow: /
 
User-agent: Googlebot-Video
Disallow: /members/
Disallow: /premium/
 
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/video-sitemap.xml

7.2 Noindex для отдельных видеостраниц

<!-- Запретить индексацию видео, сохранив основную выдачу -->
<meta name="googlebot" content="noindex">
 
<!-- Запретить полностью -->
<meta name="robots" content="noindex">
 
<!-- HTTP-заголовок (Nginx) -->
add_header X-Robots-Tag "noindex" always;

7.3 Блокировка через .htaccess (Apache)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot-Video [NC]
RewriteRule \.(mp4|webm|mov|avi)$ - [F,L]

7.4 Блокировка через Nginx

map $http_user_agent $is_gbot_video {
    default             0;
    "~*Googlebot-Video" 1;
}
 
location ~* \.(mp4|webm|mov|avi)$ {
    if ($is_gbot_video) {
        return 403;
    }
}

8. Как уменьшить нагрузку

CDN для видео — первоочередная мера

Для сайтов с видеоконтентом CDN критически важен — видеофайлы весят значительно больше любого другого веб-контента:

Cloudflare Stream — CDN + транскодирование + адаптивный битрейт
AWS CloudFront + S3 — стандарт для крупных видеоплатформ
Bunny CDN — доступный вариант с поддержкой видео
Vimeo / YouTube — разместить видео на платформе и встраивать через iframe

Правильная настройка Nginx для видеораздачи

location ~* \.(mp4|webm)$ {
    mp4;
    mp4_buffer_size     1m;
    mp4_max_buffer_size 5m;
    add_header Accept-Ranges bytes;
    add_header Cache-Control "public, max-age=2592000";
    add_header Vary "Accept-Encoding";
}

Оптимизация размера видеофайлов

# Конвертация в MP4 с оптимальными параметрами (ffmpeg):
ffmpeg -i input.mov \
  -c:v libx264 -crf 23 -preset slow \
  -c:a aac -b:a 128k \
  -movflags +faststart \
  output.mp4
 
# -movflags +faststart — критически важно!
# Перемещает метаданные в начало файла для быстрого старта краулером
 
# Конвертация в WebM (меньше размер):
ffmpeg -i input.mp4 \
  -c:v libvp9 -crf 30 -b:v 0 \
  -c:a libopus -b:a 128k \
  output.webm

Video Sitemap и пинг Google

# Пинг Google после обновления Video Sitemap:
curl "https://www.google.com/ping?sitemap=https://example.com/video-sitemap.xml"

Lazy loading для iframe-видео

<!-- Стандартный lazy loading -->
<iframe src="https://www.youtube.com/embed/VIDEO_ID"
        loading="lazy"
        title="Заголовок видео"
        allowfullscreen>
</iframe>

9. Googlebot-Video vs другие видеокраулеры

Краулер	Платформа	User-Agent	Характер
Googlebot-Video	Google Search / Google Videos	`Googlebot-Video/1.0`	Вежливый, поддерживает Range
Bingbot	Bing Videos	`bingbot/2.0`	Умеренный
YandexVideo	Яндекс.Видео	`YandexVideo/3.0`	Умеренный
Twitterbot	Twitter/X	`Twitterbot/1.0`	Превью видео в карточках
facebookexternalhit	Facebook	`facebookexternalhit/1.1`	OG-превью видео
LinkedInBot	LinkedIn	`LinkedInBot/1.0`	Превью при шаринге
GPTBot	OpenAI	`GPTBot`	AI-харвестер, агрессивный
Bytespider	Bytedance/TikTok	`Bytespider`	AI-скрапер, очень агрессивный

Блокировка AI-харвестеров через robots.txt:

User-agent: GPTBot
Disallow: /
 
User-agent: CCBot
Disallow: /
 
User-agent: Bytespider
Disallow: /
 
User-agent: anthropic-ai
Disallow: /

10. Рекомендуемая стратегия

✔ Главный принцип: Googlebot-Video индексирует то, что может найти и прочитать. Дайте ему полные метаданные, доступные файлы и чёткую структуру — видео будет в поиске.

Задача	Решение
Попасть в видеорезультаты Google	Schema.org VideoObject + Video Sitemap + публичный thumbnail
Получить главы в сниппете	Schema.org Clip или временны́е метки в описании YouTube
Ускорить индексацию видео	Video Sitemap + пинг Google при добавлении нового видео
Снизить нагрузку от бота	CDN + Range Requests + кеш видеофайлов
Улучшить CTR в выдаче	Качественный thumbnail 1280×720px + длительность в Schema.org
Помочь Google понять контент	Транскрипт / субтитры VTT + подробное описание
Заблокировать приватные видео	robots.txt Disallow для папки + авторизация на уровне сервера
Убрать видео из поиска	`<meta name="robots" content="noindex">` на странице видео
Проверить активность бота	grep 'Googlebot-Video' + анализ 206 vs 200 кодов
Верифицировать бота	Двухэтапный DNS lookup (reverse + forward на googlebot.com)

Полезные ссылки: Google Search — видеорезультаты