Нужно ли регистрироваться в Google Merchant Center, чтобы Storebot индексировал мои товары?

Для платных Shopping Ads — да, регистрация в Merchant Center обязательна. Для бесплатных товарных листингов регистрация также рекомендуется, так как даёт контроль над данными. Однако если на страницах товаров есть корректная Schema.org Product разметка, Storebot-Google может обнаружить товары и добавить их в бесплатные листинги автоматически — без регистрации фида.

Почему мои товары отклоняются в Merchant Center после проверки Storebot?

Самые частые причины: цена или наличие на странице не совпадают с данными в фиде; URL страницы товара недоступен (404, 403, редирект на другую страницу); изображение содержит запрещённые элементы (текст, водяные знаки, промо-надписи); отсутствуют обязательные атрибуты (brand, condition, availability); Storebot заблокирован в robots.txt. Проверьте через Merchant Center → Диагностика → Товары.

Как часто Storebot-Google проверяет мои товарные страницы?

Для активных товарных объявлений (Shopping Ads) — каждые несколько дней. Для бесплатных листингов — раз в 1–2 недели. При обнаружении несоответствий (цена, наличие) — учащённые проверки. Новые товары из фида проверяются в течение нескольких часов после загрузки. Ускорить проверку можно через инструмент «Повторно запросить проверку» в Merchant Center.

Может ли Storebot-Google видеть цены, скрытые за авторизацией?

Нет. Storebot-Google не проходит авторизацию и не видит контент, закрытый за логином или капчей. Цена товара должна быть видна без авторизации. Если цены для зарегистрированных пользователей отличаются — именно публичная цена будет использоваться в Google Shopping. Это также решение для защиты оптовых цен B2B-раздела.

Что делать, если конкуренты маскируются под Storebot-Google для мониторинга цен?

Верифицируйте каждый IP через DNS: настоящий Storebot-Google резолвится в домены google.com или googlebot.com, а обратная проверка должна возвращать исходный IP. Для IP, не прошедших верификацию, можно применить rate limiting в Nginx или блокировку через Cloudflare WAF по правилу «User-Agent содержит Storebot, но IP не из диапазонов Google».

Как синхронизировать обновление цен между сайтом и Google Merchant Center?

Лучший способ — использовать Google Content API for Shopping для программного обновления фида в реальном времени при изменении цены. Альтернативы: включить в Merchant Center «Автоматическое обновление цены и наличия» — тогда Google будет брать данные напрямую со страницы через Schema.org; настроить генерацию фида с расписанием обновления каждые 1–6 часов; использовать плагины для CMS (WooCommerce, Shopify), которые автоматически синхронизируют фид.

Влияет ли скорость загрузки страницы на эффективность в Google Shopping?

Напрямую на ранжирование в Shopping — нет. Storebot-Google оценивает корректность данных, а не скорость. Однако скорость влияет косвенно: медленные страницы повышают показатель отказов после клика, что снижает конверсию рекламы; Google PageSpeed учитывается в Quality Score для Shopping Ads (через Landing Page Experience); медленные страницы хуже ранжируются в органической выдаче, что снижает общий трафик.

Нужна ли Schema.org разметка, если я уже загружаю фид в Merchant Center?

Фид — основной источник данных для Google Shopping, Schema.org — дополнительный. Но Schema.org разметка на страницах даёт несколько преимуществ: позволяет включить «Автоматическое обновление» в Merchant Center (Google сам обновляет данные фида); помогает появиться в карточках товаров в основном поиске (Rich Results); повышает качество листингов при расхождениях данных; позволяет попасть в бесплатные листинги без загрузки фида.

Что произойдёт, если заблокировать Storebot-Google?

Google не сможет верифицировать данные о товарах на страницах. В Merchant Center все товары получат статус «Отклонён: целевая страница недоступна». Shopping Ads перестанут показываться, бесплатные листинги исчезнут. Восстановление после снятия блокировки занимает от нескольких дней до нескольких недель — Merchant Center нужно время для повторной проверки всех товаров. Никогда не блокируйте Storebot-Google при активных кампаниях Google Shopping.

Storebot-Google

Понимание работы Storebot-Google критически важно для владельцев интернет-магазинов, маркетплейсов и любых сайтов с товарным каталогом, которые хотят получать трафик из Google Shopping и бесплатных товарных листингов.

1. Что такое Storebot-Google

1.1 User-Agent строка

Storebot-Google/1.0

# Полная строка:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0)
AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/79.0.3945.88 Safari/537.36

1.2 Виды Storebot и их назначение

User-Agent	Назначение	Платформа
`Storebot-Google/1.0`	Основной краулер товарных страниц	Google Shopping, Merchant Center
`Google-Shopping`	Проверка фидов и данных о товарах	Google Merchant Center
`Googlebot` (с параметрами)	Дополнительная индексация товаров	Google Search (карточки товаров)

1.3 Место в экосистеме Google-ботов

Краулер	Цель	Влияет на SEO?	Влияет на Shopping?
Googlebot	Поисковый индекс	✔ Да	✖ Нет
Storebot-Google	Товарные листинги	✖ Нет	✔ Да, критически
AdsBot-Google	Quality Score рекламы	✖ Нет	✖ Нет
Googlebot-Image	Google Images	✔ Да	Частично (фото товара)

1.4 Куда попадают данные

Поверхность	Описание	Требования
Google Shopping	Платные товарные объявления (Shopping Ads)	Merchant Center + Google Ads
Бесплатные листинги (Free Listings)	Органические товарные карточки в Shopping	Merchant Center, верификация сайта
Карточки товаров в Google Search	Панель Knowledge Panel с ценами	Schema.org Product разметка
Google Images (Shopping)	Товарные изображения с ценами	Schema.org + Merchant Center
Google Lens	Визуальный поиск товаров	Качественные фото + Schema.org

1.5 IP-адреса

Storebot-Google использует те же IP-диапазоны Google (AS15169), что и основной Googlebot. Актуальный список:

# Основные IP-диапазоны Googlebot:
https://developers.google.com/search/apis/ipranges/googlebot.json

# Специальные краулеры Google (включает Storebot):
https://developers.google.com/static/search/apis/ipranges/special-crawlers.json

⚠ Как и другие Google-боты, Storebot-Google часто подделывается скраперами конкурентов, которые мониторят цены. Единственный надёжный способ проверки — двухэтапная DNS-верификация.

2. Как работает Storebot-Google

2.1 Два пути попадания в Google Shopping

Существует два принципиально разных способа, которыми Storebot-Google получает данные о товарах:

Путь 1 — Через Google Merchant Center (основной):

Магазин регистрируется в Google Merchant Center и загружает товарный фид.
Storebot-Google регулярно проверяет landing pages товаров из фида на соответствие данным в фиде.
Сравниваются цена, наличие, название, изображение — данные в фиде должны совпадать со страницей.
При несоответствии товар получает статус «Отклонён» или предупреждение.

Путь 2 — Автоматическое обнаружение через Schema.org (бесплатные листинги):

Основной Googlebot обходит страницы сайта и находит разметку Schema.org Product.
Storebot-Google получает задание проверить товарные страницы подробнее.
Анализируются структурированные данные, цена, наличие, изображения.
Товар может появиться в бесплатных листингах Google Shopping без загрузки фида.

2.2 Что Storebot-Google анализирует

Элемент	Что проверяется	Важность
Название товара	Совпадение с фидом, уникальность, информативность	⭐⭐⭐⭐⭐ Критически важно
Цена товара	Совпадение с фидом, валюта, актуальность	⭐⭐⭐⭐⭐ Критически важно
Наличие (availability)	In stock / Out of stock — совпадение с фидом	⭐⭐⭐⭐⭐ Критически важно
Изображения товара	Качество, размер, доступность URL	⭐⭐⭐⭐⭐ Критически важно
Schema.org Product	Корректность разметки, полнота данных	⭐⭐⭐⭐⭐ Критически важно
GTIN / MPN / Brand	Идентификаторы товара для сопоставления	⭐⭐⭐⭐ Очень важно
Описание товара	Релевантность, уникальность	⭐⭐⭐⭐ Очень важно
Политика возврата	Наличие и условия возврата	⭐⭐⭐⭐ Очень важно
Условия доставки	Стоимость, сроки доставки	⭐⭐⭐⭐ Очень важно
Отзывы и рейтинг	Schema.org Review / AggregateRating	⭐⭐⭐ Важно
Доступность страницы	HTTP 200, нет блокировок, нет авторизации	⭐⭐⭐⭐⭐ Критически важно
Безопасность HTTPS	SSL-сертификат, корзина через HTTPS	⭐⭐⭐⭐⭐ Критически важно

2.3 Частота проверок

Сценарий	Частота обхода
Новый товар в фиде	В течение нескольких часов после загрузки фида
Активные товарные объявления	Каждые несколько дней
Бесплатные листинги	Раз в 1–2 недели
При несоответствии цены в фиде и на странице	Учащённые проверки, предупреждения в Merchant Center
После исправления нарушений	Повторная проверка в течение 1–3 дней

3. Технические требования для Google Shopping

3.1 Google Merchant Center — обязательная регистрация

Для участия в Google Shopping (платных листингах) необходима регистрация в Google Merchant Center (merchants.google.com). Для бесплатных листингов регистрация также рекомендуется, хотя Schema.org разметка позволяет попасть в Shopping и без неё.

Требования к магазину для Merchant Center:

Верификация и подтверждение прав на сайт (через Google Search Console или мета-тег)
HTTPS на всех страницах, включая корзину и оформление заказа
Чёткая политика возврата и обмена товаров
Актуальные контактные данные (телефон, email или форма)
Корректные условия доставки с ценами и сроками
Политика конфиденциальности на сайте
Полный процесс оформления заказа без обязательной регистрации

3.2 Schema.org Product — основная разметка

Schema.org Product — важнейший инструмент для передачи структурированных данных о товаре как Storebot-Google, так и основному Googlebot:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Product",
  "name": "Кроссовки Nike Air Max 270 чёрные",
  "description": "Мужские кроссовки Nike Air Max 270 с подошвой Air Max для максимального комфорта",
  "sku": "NKE-AM270-BLK-42",
  "mpn": "AH8050-002",
  "brand": {
    "@type": "Brand",
    "name": "Nike"
  },
  "gtin13": "0091206929144",
  "image": [
    "https://example.com/images/nike-am270-black-front.jpg",
    "https://example.com/images/nike-am270-black-side.jpg",
    "https://example.com/images/nike-am270-black-back.jpg"
  ],
  "offers": {
    "@type": "Offer",
    "url": "https://example.com/catalog/nike-air-max-270-black/",
    "priceCurrency": "RUB",
    "price": "12990",
    "priceValidUntil": "2026-12-31",
    "itemCondition": "https://schema.org/NewCondition",
    "availability": "https://schema.org/InStock",
    "seller": {
      "@type": "Organization",
      "name": "Название магазина"
    },
    "shippingDetails": {
      "@type": "OfferShippingDetails",
      "shippingRate": {
        "@type": "MonetaryAmount",
        "value": "0",
        "currency": "RUB"
      },
      "deliveryTime": {
        "@type": "ShippingDeliveryTime",
        "handlingTime": {
          "@type": "QuantitativeValue",
          "minValue": 0,
          "maxValue": 1,
          "unitCode": "DAY"
        },
        "transitTime": {
          "@type": "QuantitativeValue",
          "minValue": 1,
          "maxValue": 3,
          "unitCode": "DAY"
        }
      }
    },
    "hasMerchantReturnPolicy": {
      "@type": "MerchantReturnPolicy",
      "applicableCountry": "RU",
      "returnPolicyCategory": "https://schema.org/MerchantReturnFiniteReturnWindow",
      "merchantReturnDays": 30,
      "returnMethod": "https://schema.org/ReturnByMail",
      "returnFees": "https://schema.org/FreeReturn"
    }
  },
  "aggregateRating": {
    "@type": "AggregateRating",
    "ratingValue": "4.7",
    "reviewCount": "283"
  },
  "review": [
    {
      "@type": "Review",
      "reviewRating": {
        "@type": "Rating",
        "ratingValue": "5"
      },
      "author": {
        "@type": "Person",
        "name": "Иван И."
      },
      "reviewBody": "Отличные кроссовки, очень удобные!"
    }
  ]
}
</script>

3.3 Товарный фид для Merchant Center

Товарный фид — основной способ передачи данных о товарах в Google Merchant Center. Поддерживаются форматы XML (Google Product Specification) и TXT (таблица с разделителями):

<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:g="http://base.google.com/ns/1.0">
  <channel>
    <title>Название магазина</title>
    <link>https://example.com</link>
    <description>Каталог товаров</description>
    <item>
      <g:id>NKE-AM270-BLK-42</g:id>
      <g:title>Кроссовки Nike Air Max 270 чёрные размер 42</g:title>
      <g:description>Мужские кроссовки Nike Air Max 270 с подошвой Air Max</g:description>
      <g:link>https://example.com/catalog/nike-air-max-270-black/</g:link>
      <g:image_link>https://example.com/images/nike-am270-black-front.jpg</g:image_link>
      <g:additional_image_link>https://example.com/images/nike-am270-black-side.jpg</g:additional_image_link>
      <g:condition>new</g:condition>
      <g:availability>in stock</g:availability>
      <g:price>12990.00 RUB</g:price>
      <g:brand>Nike</g:brand>
      <g:gtin>0091206929144</g:gtin>
      <g:mpn>AH8050-002</g:mpn>
      <g:product_type>Одежда и обувь > Обувь > Кроссовки</g:product_type>
      <g:google_product_category>187</g:google_product_category>
      <g:shipping>
        <g:country>RU</g:country>
        <g:service>Стандартная доставка</g:service>
        <g:price>0 RUB</g:price>
      </g:shipping>
    </item>
  </channel>
</rss>

3.4 Обязательные и рекомендуемые атрибуты фида

Атрибут	Статус	Описание
`id`	Обязателен	Уникальный идентификатор товара в вашей системе
`title`	Обязателен	Название товара (до 150 символов)
`description`	Обязателен	Описание товара (до 5000 символов)
`link`	Обязателен	URL страницы товара
`image_link`	Обязателен	URL основного изображения (мин. 100×100px, рек. 800×800px)
`condition`	Обязателен	new / refurbished / used
`availability`	Обязателен	in stock / out of stock / preorder / backorder
`price`	Обязателен	Цена с валютой (12990.00 RUB)
`brand`	Обязателен*	Бренд товара (*кроме hand-made)
`gtin`	Рекомендован	Штрихкод EAN/UPC/ISBN
`mpn`	Рекомендован	Артикул производителя
`google_product_category`	Рекомендован	Категория Google Product Taxonomy
`additional_image_link`	Рекомендован	До 10 дополнительных изображений
`shipping`	Рекомендован	Стоимость и сроки доставки
`sale_price`	Опционален	Цена со скидкой

4. Нагрузка на сервер

Storebot-Google создаёт нагрузку, напрямую зависящую от размера товарного каталога и активности рекламных кампаний. Для крупных интернет-магазинов с тысячами SKU это может быть существенная постоянная нагрузка.

4.1 Типичная нагрузка по типам магазинов

Тип магазина	Количество товаров	Нагрузка от Storebot
Лендинг / монотовар	1–10 SKU	Незаметная, несколько запросов в неделю
Малый интернет-магазин	10–1 000 SKU	Низкая, несколько десятков запросов в день
Средний магазин	1 000–50 000 SKU	Ощутимая, сотни запросов в день
Крупный e-commerce	50 000–500 000 SKU	Высокая, тысячи запросов в день
Маркетплейс	Миллионы SKU	Очень высокая, нужен crawl control

4.2 Факторы, увеличивающие нагрузку

Несоответствие цен в фиде и на странице — Storebot учащает проверки при расхождениях
Частые обновления фида — каждое обновление провоцирует новый обход
Отсутствие кеширования — динамически генерируемые страницы товаров без кеша
Параметрические URL товаров — дублирование одного товара по разным URL
Большое количество вариаций — каждый вариант (размер, цвет) проверяется отдельно
Сезонные распродажи — массовое изменение цен провоцирует повторный обход всего каталога
Недоступные страницы (404, 503) — повторные попытки обхода

4.3 Признаки проблем в логах

# Найти все запросы Storebot-Google:
grep -i 'Storebot-Google' /var/log/nginx/access.log

# Страницы с ошибками — критично для Merchant Center:
grep -i 'Storebot-Google' access.log \
  | awk '$9 != 200 {print $7, $9}' | sort | uniq -c | sort -nr | head -20

# Всплески нагрузки по времени:
grep -i 'Storebot-Google' access.log \
  | awk '{print $4}' | cut -d: -f2 | sort | uniq -c

5. Обнаружение в логах

5.1 Как выглядит запись

# Nginx access.log — стандартный запрос Storebot-Google:
66.249.79.25 - - [08/May/2026:16:12:44 +0000] \
  "GET /catalog/nike-air-max-270-black/ HTTP/1.1" \
  200 32481 "-" \
  "Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) \
  AppleWebKit/537.36 (KHTML, like Gecko) \
  Chrome/79.0.3945.88 Safari/537.36"

# Запрос изображения товара:
66.249.79.25 - - [08/May/2026:16:12:45 +0000] \
  "GET /images/nike-am270-black-front.jpg HTTP/1.1" \
  200 187432 "https://example.com/catalog/nike-air-max-270-black/" \
  "Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) \
  AppleWebKit/537.36 (KHTML, like Gecko) \
  Chrome/79.0.3945.88 Safari/537.36"

5.2 Аналитика через grep

Найти все запросы Storebot-Google:

grep -i 'Storebot-Google' /var/log/nginx/access.log

Подсчитать количество запросов:

grep -i 'Storebot-Google' access.log | wc -l

Топ проверяемых товарных страниц:

grep -i 'Storebot-Google' access.log \
  | awk '{print $7}' | sort | uniq -c | sort -nr | head -50

HTTP-коды ответов (не должно быть 4xx и 5xx):

grep -i 'Storebot-Google' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -nr

Только проблемные страницы (4xx и 5xx):

grep -i 'Storebot-Google' access.log \
  | awk '$9 >= 400 {print $7, $9}' \
  | sort | uniq -c | sort -nr

Суммарный трафик (bandwidth):

grep -i 'Storebot-Google' access.log \
  | awk '{sum+=$10} END{print sum/1024/1024 " MB"}'

Активность по часам:

grep -i 'Storebot-Google' access.log \
  | awk '{print $4}' | cut -d: -f2 | sort | uniq -c | sort -n

Live-мониторинг:

tail -f /var/log/nginx/access.log | grep --line-buffered 'Storebot-Google'

5.3 Верификация подлинности

#!/bin/bash
# Проверка: настоящий ли Storebot-Google?
# Storebot резолвится в googlebot.com или google.com домены
IP=$1
HOST=$(host $IP | awk '{print $NF}')

if [[ $HOST == *googlebot.com* ]] || [[ $HOST == *google.com* ]]; then
  FWD=$(host $HOST | awk '{print $NF}')
  if [[ $FWD == $IP ]]; then
    echo "✔ Настоящий Storebot-Google: $IP → $HOST"
  else
    echo "✖ Fake Storebot (DNS mismatch): $IP"
  fi
else
  echo "✖ Fake Storebot-Google (нет PTR записи google.com): $IP"
fi

⚠ Важно: многие конкуренты запускают прайс-мониторинговые боты, маскируя их под Storebot-Google. Всегда верифицируйте IP через DNS перед принятием решений о блокировке.

6. SEO-оптимизация товарных страниц для Google Shopping

6.1 Название товара — главный фактор

Название товара в фиде и на странице — ключевой сигнал для Storebot-Google и для ранжирования в Google Shopping:

<!-- ✖ Плохо: слишком общее название -->
<h1>Кроссовки</h1>

<!-- ✖ Плохо: keyword stuffing -->
<h1>Купить кроссовки Nike дешево кроссовки Nike Air Max скидки</h1>

<!-- ✔ Хорошо: бренд + модель + ключевые характеристики -->
<h1>Кроссовки Nike Air Max 270 мужские чёрные, размер 42</h1>

Формула оптимального названия для разных категорий:

Категория	Рекомендуемая структура
Одежда и обувь	Бренд + Название + Тип + Пол + Цвет + Размер
Электроника	Бренд + Модель + Ключевые характеристики + Объём памяти/ёмкость
Продукты питания	Бренд + Название + Вкус/Вид + Вес/Объём
Товары для дома	Бренд + Название + Материал + Размер/Цвет
Книги	Название + Автор + Тип (твёрдая/мягкая обложка)

6.2 Цена — критическое совпадение

Цена на странице товара должна точно совпадать с ценой в товарном фиде. Расхождение — одна из самых частых причин отклонения товаров в Merchant Center:

<!-- Разметка цены через Schema.org -->
<span itemprop="price" content="12990">12 990 ₽</span>
<meta itemprop="priceCurrency" content="RUB">

<!-- Цена со скидкой -->
<script type="application/ld+json">
{
  "@type": "Offer",
  "price": "9990",
  "priceValidUntil": "2026-06-30",
  "priceCurrency": "RUB"
}
</script>

Правила работы с ценами:

Цена в фиде = цена на странице (до копейки, с той же валютой)
Обновляйте фид синхронно с изменением цен на сайте
Для акционных цен используйте атрибут sale_price в фиде и priceValidUntil в Schema.org
Не скрывайте цену за авторизацией или капчей — Storebot должен видеть цену без авторизации

6.3 Изображения товара

Изображения — второй по важности элемент после цены для конверсии в Google Shopping:

Параметр	Минимум	Рекомендация
Размер основного изображения	100 × 100px	800 × 800px или больше
Размер для одежды	250 × 250px	1 000 × 1 000px
Формат	JPEG, PNG, WebP, GIF	JPEG или WebP (до 16 MB)
Фон	Любой	Белый (#FFFFFF) для товаров без одежды
Количество изображений	1	До 10 (main + additional_image_link)
Текст на изображении	Без промо-текста	Только логотип (небольшой)

<!-- ✖ Запрещено в Google Shopping: -->
<!-- Водяные знаки поверх товара -->
<!-- Текст "SALE -50%" на изображении -->
<!-- Рамки и декоративные элементы вокруг товара -->
<!-- Несколько товаров на одном изображении (кроме комплектов) -->

<!-- ✔ Правильно: чистый товар на белом фоне -->
<img src="/images/nike-am270-black-800x800.jpg"
     alt="Nike Air Max 270 мужские чёрные"
     width="800" height="800">

6.4 Наличие товара (Availability)

Наличие — критичный атрибут. Несоответствие между фидом и страницей немедленно приводит к отклонению товара:

<!-- Schema.org — правильная разметка наличия -->
{
  "@type": "Offer",
  "availability": "https://schema.org/InStock",
  /* или */
  "availability": "https://schema.org/OutOfStock",
  /* или */
  "availability": "https://schema.org/PreOrder",
  /* или */
  "availability": "https://schema.org/BackOrder"
}

<!-- HTML-разметка для Storebot: -->
<link itemprop="availability"
      href="https://schema.org/InStock">
<span>В наличии</span>

6.5 Политика возврата и условия доставки

Начиная с 2023 года Google требует явного указания политики возврата и условий доставки — как в фиде, так и в Schema.org разметке:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Product",
  "name": "Название товара",
  "offers": {
    "@type": "Offer",
    "price": "12990",
    "priceCurrency": "RUB",
    "availability": "https://schema.org/InStock",
    "shippingDetails": {
      "@type": "OfferShippingDetails",
      "shippingRate": {
        "@type": "MonetaryAmount",
        "value": "299",
        "currency": "RUB"
      },
      "shippingDestination": {
        "@type": "DefinedRegion",
        "addressCountry": "RU"
      },
      "deliveryTime": {
        "@type": "ShippingDeliveryTime",
        "transitTime": {
          "@type": "QuantitativeValue",
          "minValue": 2,
          "maxValue": 5,
          "unitCode": "DAY"
        }
      }
    },
    "hasMerchantReturnPolicy": {
      "@type": "MerchantReturnPolicy",
      "applicableCountry": "RU",
      "returnPolicyCategory":
        "https://schema.org/MerchantReturnFiniteReturnWindow",
      "merchantReturnDays": 30,
      "returnMethod": "https://schema.org/ReturnByMail",
      "returnFees": "https://schema.org/FreeReturn"
    }
  }
}
</script>

7. Управление Storebot-Google

7.1 robots.txt — критические правила

✖ ОПАСНО: блокировка Storebot-Google в robots.txt полностью отключает проверку товарных страниц, что приводит к отклонению всех товаров в Merchant Center.

✔ Правильная конфигурация для интернет-магазина:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /catalog/
Allow: /

# Storebot-Google должен иметь полный доступ к товарным страницам!
# Не добавляйте Storebot-Google в Disallow

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/products-sitemap.xml

Разрешить Storebot только к товарным страницам (при необходимости ограничить остальное):

User-agent: Storebot-Google
Allow: /catalog/
Allow: /products/
Disallow: /
# Осторожно: это заблокирует доступ к изображениям и другим ресурсам!
# Лучше оставить Storebot без ограничений.

Когда блокировка Storebot оправдана:

# Если вы полностью не используете Google Shopping и Merchant Center:
User-agent: Storebot-Google
Disallow: /

# Блокировка конкретных разделов (оптовые цены, B2B-раздел):
User-agent: Storebot-Google
Disallow: /wholesale/
Disallow: /b2b/

7.2 Блокировка через .htaccess (Apache)

RewriteEngine On
# ТОЛЬКО если вы не используете Google Shopping:
RewriteCond %{HTTP_USER_AGENT} Storebot-Google [NC]
RewriteRule .* - [F,L]

7.3 Блокировка через Nginx

map $http_user_agent $is_storebot {
    default          0;
    "~*Storebot-Google" 1;
}

# ТОЛЬКО если вы не используете Google Shopping:
if ($is_storebot) {
    return 403;
}

7.4 Защита оптовых цен от Storebot

Если на сайте есть B2B-раздел с оптовыми ценами, которые не должны попасть в Google Shopping:

# robots.txt:
User-agent: Storebot-Google
Disallow: /wholesale/
Disallow: /b2b/
Disallow: /trade/

# Дополнительно — закрыть раздел за авторизацией:
# Storebot не проходит авторизацию, поэтому не увидит цены
# за login wall

8. Типичные ошибки в Merchant Center и их исправление

8.1 Самые частые причины отклонения товаров

Ошибка	Причина	Решение
«Цена не совпадает»	Цена на странице отличается от цены в фиде	Синхронизировать обновление фида с изменением цен
«Товар недоступен»	Storebot получил 404 или 403 на страницу товара	Проверить HTTP-код, убрать блокировку
«Наличие не совпадает»	Товар в фиде «in stock», на странице «нет в наличии»	Обновлять фид при изменении наличия
«Изображение недоступно»	URL изображения возвращает 404 или заблокирован	Проверить доступность URL изображений
«Неверный GTIN»	GTIN не соответствует стандарту или товару	Проверить корректность штрихкода
«Нет обязательных атрибутов»	Пропущены brand, condition, availability	Добавить недостающие атрибуты в фид
«Целевая страница недоступна»	Storebot заблокирован в robots.txt или по IP	Открыть доступ для Storebot-Google
«Промо-изображение»	На изображении есть текст, водяной знак или рамка	Заменить изображение на чистое фото товара

8.2 Диагностика проблем

Шаг 1 — Проверить доступность страницы для Storebot:

curl -A "Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) \
  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" \
  -I https://example.com/catalog/product-slug/

# Ожидаемый результат: HTTP/1.1 200 OK

Шаг 2 — Проверить robots.txt:

curl https://example.com/robots.txt | grep -i storebot

Шаг 3 — Проверить Schema.org разметку:

# Использовать инструменты Google:
# Rich Results Test: https://search.google.com/test/rich-results
# Schema Markup Validator: https://validator.schema.org/

Шаг 4 — Проверить совпадение цен:

# Автоматизация: скрипт проверки совпадения цен в фиде и на странице
python3 - <<'EOF'
import requests
from bs4 import BeautifulSoup
import re

url = "https://example.com/catalog/product-slug/"
feed_price = 12990

headers = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0)"
}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, "html.parser")

# Ищем цену в Schema.org
import json
scripts = soup.find_all("script", {"type": "application/ld+json"})
for s in scripts:
    data = json.loads(s.string)
    if data.get("@type") == "Product":
        page_price = float(data["offers"]["price"])
        if page_price == feed_price:
            print(f"✔ Цены совпадают: {page_price}")
        else:
            print(f"✖ Расхождение: фид={feed_price}, страница={page_price}")
EOF

Шаг 5 — Инструменты Merchant Center:

Merchant Center → Товары → Диагностика — список всех ошибок по товарам
Merchant Center → Товары → Все товары — статус каждого товара
Merchant Center → Инструменты → Проверка URL — проверить конкретную страницу
Google Search Console → Rich Results Test → проверить Schema.org разметку

9. Продвинутые возможности

9.1 Автоматические улучшения фида

Google Merchant Center предлагает функцию автоматического улучшения данных фида на основе информации, которую Storebot-Google собирает со страниц товаров. Можно включить в настройках Merchant Center:

Автоматическое обновление цены и наличия — Google сам обновляет данные фида на основе Schema.org разметки на странице. Снижает риск расхождения данных.
Улучшение изображений — Google может автоматически выбирать лучшее изображение для листинга.
Автоматическое добавление атрибутов — Google дополняет фид данными из Schema.org (GTIN, бренд и др.).

9.2 Structured Data для Rich Results

Правильная Schema.org разметка позволяет товарам появляться в расширенных сниппетах в основном поиске (не только в Shopping):

<!-- Merchant Listing Experience (расширенный сниппет в поиске) -->
<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Product",
  "name": "Nike Air Max 270",
  "image": "https://example.com/images/product.jpg",
  "offers": {
    "@type": "Offer",
    "price": "12990",
    "priceCurrency": "RUB",
    "availability": "https://schema.org/InStock",
    "priceValidUntil": "2026-12-31"
  },
  "aggregateRating": {
    "@type": "AggregateRating",
    "ratingValue": "4.8",
    "reviewCount": "412",
    "bestRating": "5"
  }
}
</script>

9.3 Динамические цены и Real-time обновление

Для магазинов с часто меняющимися ценами критически важна синхронизация:

# Автоматический пинг Merchant Center при изменении цены (Content API):
curl -X PATCH \
  "https://shoppingcontent.googleapis.com/content/v2.1/{merchantId}/products/{productId}" \
  -H "Authorization: Bearer {access_token}" \
  -H "Content-Type: application/json" \
  -d '{
    "price": {
      "value": "9990",
      "currency": "RUB"
    },
    "availability": "in stock"
  }'

# Или использовать Google Content API for Shopping (Python):
# pip install google-api-python-client google-auth
# Документация: https://developers.google.com/shopping-content/

10. Storebot-Google vs другие торговые краулеры

Краулер	Платформа	User-Agent	Характер
Storebot-Google	Google Shopping / Merchant Center	`Storebot-Google/1.0`	Вежливый, официальный
bingbot	Bing Shopping / Microsoft Ads	`bingbot/2.0`	Умеренный
Yandex Market Bot	Яндекс.Маркет	`YandexMarket/1.0`	Умеренный
PriceSpider	Ценовые агрегаторы	Разные	Агрессивный прайс-мониторинг
DataForSEO	SEO-инструменты	Разные	Умеренный, коммерческий
GPTBot	OpenAI	`GPTBot`	AI-харвестер, агрессивный
Bytespider	Bytedance/TikTok	`Bytespider`	AI-скрапер, очень агрессивный
Конкурентные прайс-боты	Мониторинг цен конкурентами	Часто маскируются под Storebot	Агрессивные, нелегитимные

Блокировка AI-харвестеров и нелегитимных скраперов через robots.txt:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: anthropic-ai
Disallow: /

# Не блокируйте Storebot-Google, если используете Google Shopping!

11. Рекомендуемая стратегия

✔ Главный принцип: Storebot-Google — ваш союзник в получении бесплатного трафика из Google Shopping. Открытый доступ + точные данные + качественные изображения = товарные листинги с высокой конверсией.

Задача	Решение
Попасть в Google Shopping	Регистрация в Merchant Center + корректный товарный фид
Улучшить видимость в Shopping	Schema.org Product + полные атрибуты фида + GTIN
Избежать отклонения товаров	Синхронизация цен и наличия между фидом и страницей
Повысить CTR в Shopping	Качественные фото товара 800×800px на белом фоне
Снизить нагрузку от бота	Кеш товарных страниц + CDN для изображений
Убедиться что Storebot имеет доступ	curl с UA Storebot + проверка robots.txt + HTTP-коды
Защитить оптовые цены	robots.txt Disallow для B2B-раздела + авторизация
Автоматизировать обновление фида	Google Content API for Shopping + триггеры при изменении цен
Диагностировать ошибки в Merchant Center	Merchant Center → Диагностика + Rich Results Test
Верифицировать подлинность бота	Двухэтапный DNS lookup (reverse + forward на google.com)