Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

ShortPixel в логах: оптимизация ваших же изображений

Разбираем ShortPixel — известный сервис сжатия и конвертации изображений в WebP/AVIF, который заходит на сайт по запросу собственного установленного плагина. Показываем, как отличить штатную работу от постороннего трафика, найти бота в access.log и настроить allow/deny.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота ShortPixel: легитимный прочие краулеры и сервисы

Если фильтровать access.log по shortpixel, часто всплывает целый пласт машинных хитов — это и есть ShortPixel, известный сервис оптимизации изображений (сжатие, конвертация в WebP/AVIF). Его WordPress-плагин установлен более чем на 300 000 активных сайтов с 2014 года — то есть в подавляющем большинстве случаев присутствие бота означает, что сайт сам подключил этот сервис для оптимизации своих же картинок, а не постороннее сканирование.

1. Что такое ShortPixel

ShortPixel работает как классический плагин-интеграция: владелец сайта устанавливает плагин ShortPixel Image Optimizer в WordPress, привязывает аккаунт по API-ключу — и дальше плагин отправляет изображения из медиатеки на сжатие через сервис ShortPixel, а сам бот забирает исходники для обработки. Отдельно сервис предлагает встроенный CDN для раздачи уже оптимизированных WebP/AVIF-файлов, CSS и JS, а также настройку, которая явно разрешает или запрещает использование изображений сайта AI-ботами для обучения моделей.

Название ShortPixel
User-Agent / паттерн shortpixel
Оператор ShortPixel — сервис оптимизации изображений, известный прежде всего по WordPress-плагину ShortPixel Image Optimizer
Роль Забирает изображения сайта для сжатия и конвертации в современные форматы (WebP/AVIF) в рамках интеграции, которую сам владелец сайта настроил через плагин и API-ключ
Документация / ориентир shortpixel.com — официальный сайт сервиса и страница плагина на wordpress.org
Список IP ❌ Официального списка IP не найдено — проверяйте по UA и поведению
robots.txt Данных о строгом соблюдении нет; поскольку трафик обычно инициирован собственным плагином сайта, необходимость в жёстких правилах robots.txt на практике возникает редко
Пометка TrafficVeil Легитимный / Прочие краулеры и сервисы

2. Зачем ShortPixel приходит на сайт

Если на сайте установлен и настроен плагин ShortPixel, визиты бота — ожидаемая, штатная часть его работы: он забирает изображения из медиатеки для сжатия и конвертации, а также может обращаться повторно при массовой оптимизации существующей библиотеки или при фоновой обработке через cron. Если же сайт не на WordPress или плагин ShortPixel никогда не устанавливался, легитимного повода для такого трафика заметно меньше — стоит проверить отдельно, не спутан ли он с чем-то другим под похожим UA.

  • Какие зоны чаще трогает: публичные URL с изображениями — в первую очередь файлы из медиатеки, а не сайт целиком;
  • Что ищет: исходные изображения для сжатия и конвертации в WebP/AVIF;
  • Чем отличается от браузерного пользователя: нет нормальной сессии, обращения привязаны к работе плагина — разовой оптимизации, массовой обработке библиотеки или фоновым cron-задачам.

Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — ShortPixel. Прежде чем реагировать, стоит свериться с настройками CMS: если плагин установлен и активен, это не «лишний» бот, а часть штатной оптимизации изображений сайта.

3. Нагрузка и риски именно для ShortPixel

Отдельной строки в публичной сводке top-bot TrafficVeil у shortpixel может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Пик нагрузки логично ожидать при массовой (bulk) оптимизации всей существующей медиатеки — на большом сайте с тысячами изображений это может дать заметный кратковременный всплеск запросов, что не является проблемой самой по себе, если оптимизация действительно запущена осознанно.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти ShortPixel в логах

Не ищите «просто ботов» — ищите конкретный токен shortpixel и сверяйтесь с тем, установлен ли плагин на сайте.

# Базовый поиск
grep -i "shortpixel" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот — ожидаемо изображения из медиатеки
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — проверьте, не совпадает ли пик с запуском bulk-оптимизации
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк
grep -iE "shortpixel|bot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + то, что запросы концентрируются именно на файлах изображений, а не на сайте произвольно. Самый надёжный способ подтвердить легитимность — проверить настройки самого плагина ShortPixel в CMS, если он установлен.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для ShortPixel

# Жёсткий запрет
User-agent: shortpixel
Disallow: /

# Разрешить всё
User-agent: shortpixel
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: shortpixel
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для shortpixel, только если сайт точно не использует этот сервис для оптимизации изображений. Если плагин активен, блокировка сломает саму функцию, ради которой его установили, — сжатие и конвертацию картинок.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "shortpixel") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_837b9a564a26_key {
    default "";
    "~*shortpixel" $binary_remote_addr;
}
limit_req_zone $tv_ng_837b9a564a26_key zone=tv_ng_837b9a564a26:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_837b9a564a26 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} shortpixel [NC]
RewriteRule ^ - [F,L]

TrafficVeil

  • Найдите shortpixel в ботах домена или в /system/bots;
  • Перед блокировкой проверьте в CMS, установлен ли и активен ли плагин ShortPixel Image Optimizer;
  • Если сайт не использует сервис — категория «запретить»; если использует — Allow без ограничений;
  • После изменения сверьте логи и, отдельно, работоспособность самого плагина — убедитесь, что блокировка (если она нужна была по другой причине) не задела активную оптимизацию.

7. Рекомендации: что делать с ShortPixel

  • Сайт использует плагин ShortPixel — Allow без ограничений, это штатная часть его работы;
  • Сайт не на WordPress или плагин точно не установлен — Disallow/403, легитимного повода для такого трафика в этом случае меньше;
  • Если нагрузка мешает во время массовой (bulk) оптимизации — это разовый ожидаемый пик, а не постоянная проблема; для повторяющихся нагрузок можно рассмотреть rate-limit;
  • Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
  • Что будет при блокировке: если сервис используется — перестанут оптимизироваться изображения, что может сказаться на скорости загрузки сайта.

8. С кем не путать ShortPixel

Бот / сосед Кластер UA Комментарий
2ip Bot Прочие краулеры и сервисы 2ip bot легитимный
AccessStatus Прочие краулеры и сервисы accessstatus легитимный
AddThis.com Прочие краулеры и сервисы addthis.com легитимный
Agent Прочие краулеры и сервисы agent легитимный
AgentReadinessScanner Прочие краулеры и сервисы agentreadinessscanner легитимный

9. Стратегия allow/deny для ShortPixel

Ситуация Действие
Плагин ShortPixel установлен и активен Allow без ограничений
Сайт не использует сервис Disallow + запрет в TrafficVeil
Разовый пик при bulk-оптимизации медиатеки Не блокировать — это ожидаемое поведение, не проблема
Нежелательный по базе TrafficVeil Deny по умолчанию, исключения — точечно
Подозрение на spoofing UA Сверять с настройками плагина в CMS и с тем, что запросы идут к файлам изображений, а не произвольным страницам
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

ShortPixel в логах — это сторонний краулер?
Как правило нет — если на сайте установлен плагин ShortPixel Image Optimizer, это его штатная работа по сжатию и конвертации изображений, а не постороннее сканирование.
Что именно делает бот на сайте?
Забирает исходные изображения из медиатеки для сжатия и конвертации в современные форматы WebP и AVIF в рамках интеграции, которую сам владелец сайта настроил через API-ключ.
Почему иногда виден резкий всплеск запросов от ShortPixel?
Обычно это разовый пик при запуске массовой (bulk) оптимизации всей существующей медиатеки — ожидаемое поведение, а не проблема.
Что сломается, если заблокировать ShortPixel на сайте, где он используется?
Перестанут оптимизироваться изображения — это может ощутимо повлиять на скорость загрузки сайта, ради которой сервис обычно и подключают.
Стоит ли блокировать ShortPixel, если сайт не на WordPress?
Да, разумно — легитимного повода для такого трафика в этом случае заметно меньше, стоит проверить, не спутан ли токен с чем-то ещё.
Публикует ли ShortPixel список IP-адресов бота?
Нет, официального списка не найдено, поэтому для верификации проще всего свериться с настройками самого плагина в CMS, если он установлен.
#ShortPixel#оптимизация изображений#WebP#AVIF#анализ логов#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота adbeat_bot: нежелательный рекламные и adtech-боты
Боты·6 мин

Adbeat_bot в логах: конкурентная разведка чужой рекламы

Разбираем adbeat_bot — краулер платной платформы Adbeat, которая отслеживает рекламные стратегии конкурентов для своих клиентов. Показываем, почему сайт попадает в её выборку просто из-за показа рекламы, как найти бота в access.log и настроить allow/deny.

Читать
Уникальная иллюстрация бота admantx: нежелательный прочие краулеры и сервисы
Боты·6 мин

Admantx в логах: контекстная реклама Integral Ad Science

Разбираем admantx (ADmantX) — технологию NLP-анализа контента для контекстной рекламы и brand safety, которая теперь принадлежит Integral Ad Science. Показываем задокументированный случай спуфинга под похожим именем, как найти бота в access.log и настроить allow/deny.

Читать
Уникальная иллюстрация бота Agent: легитимный прочие краулеры и сервисы
Боты·6 мин

Agent в логах: почему это не бот, а слово

Разбираем, почему токен «Agent» нельзя фильтровать как обычного бота — это подстрока, совпадающая с огромным числом легитимных UA-строк и других ботов. Показываем правильный способ расследовать конкретный всплеск через полные строки UA вместо шаблонного grep и robots.txt правила.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil