Если фильтровать access.log по shortpixel, часто всплывает целый пласт машинных хитов — это и есть ShortPixel, известный сервис оптимизации изображений (сжатие, конвертация в WebP/AVIF). Его WordPress-плагин установлен более чем на 300 000 активных сайтов с 2014 года — то есть в подавляющем большинстве случаев присутствие бота означает, что сайт сам подключил этот сервис для оптимизации своих же картинок, а не постороннее сканирование.
1. Что такое ShortPixel
ShortPixel работает как классический плагин-интеграция: владелец сайта устанавливает плагин ShortPixel Image Optimizer в WordPress, привязывает аккаунт по API-ключу — и дальше плагин отправляет изображения из медиатеки на сжатие через сервис ShortPixel, а сам бот забирает исходники для обработки. Отдельно сервис предлагает встроенный CDN для раздачи уже оптимизированных WebP/AVIF-файлов, CSS и JS, а также настройку, которая явно разрешает или запрещает использование изображений сайта AI-ботами для обучения моделей.
| Название | ShortPixel |
| User-Agent / паттерн | shortpixel |
| Оператор | ShortPixel — сервис оптимизации изображений, известный прежде всего по WordPress-плагину ShortPixel Image Optimizer |
| Роль | Забирает изображения сайта для сжатия и конвертации в современные форматы (WebP/AVIF) в рамках интеграции, которую сам владелец сайта настроил через плагин и API-ключ |
| Документация / ориентир | shortpixel.com — официальный сайт сервиса и страница плагина на wordpress.org |
| Список IP | ❌ Официального списка IP не найдено — проверяйте по UA и поведению |
| robots.txt | Данных о строгом соблюдении нет; поскольку трафик обычно инициирован собственным плагином сайта, необходимость в жёстких правилах robots.txt на практике возникает редко |
| Пометка TrafficVeil | Легитимный / Прочие краулеры и сервисы |
2. Зачем ShortPixel приходит на сайт
Если на сайте установлен и настроен плагин ShortPixel, визиты бота — ожидаемая, штатная часть его работы: он забирает изображения из медиатеки для сжатия и конвертации, а также может обращаться повторно при массовой оптимизации существующей библиотеки или при фоновой обработке через cron. Если же сайт не на WordPress или плагин ShortPixel никогда не устанавливался, легитимного повода для такого трафика заметно меньше — стоит проверить отдельно, не спутан ли он с чем-то другим под похожим UA.
- Какие зоны чаще трогает: публичные URL с изображениями — в первую очередь файлы из медиатеки, а не сайт целиком;
- Что ищет: исходные изображения для сжатия и конвертации в WebP/AVIF;
- Чем отличается от браузерного пользователя: нет нормальной сессии, обращения привязаны к работе плагина — разовой оптимизации, массовой обработке библиотеки или фоновым cron-задачам.
Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — ShortPixel. Прежде чем реагировать, стоит свериться с настройками CMS: если плагин установлен и активен, это не «лишний» бот, а часть штатной оптимизации изображений сайта.
3. Нагрузка и риски именно для ShortPixel
Отдельной строки в публичной сводке top-bot TrafficVeil у shortpixel может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Пик нагрузки логично ожидать при массовой (bulk) оптимизации всей существующей медиатеки — на большом сайте с тысячами изображений это может дать заметный кратковременный всплеск запросов, что не является проблемой самой по себе, если оптимизация действительно запущена осознанно.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
4. Как найти ShortPixel в логах
Не ищите «просто ботов» — ищите конкретный токен shortpixel и сверяйтесь с тем, установлен ли плагин на сайте.
# Базовый поиск
grep -i "shortpixel" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот — ожидаемо изображения из медиатеки
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — проверьте, не совпадает ли пик с запуском bulk-оптимизации
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "shortpixel|bot" /var/log/nginx/access.log | wc -l
Верификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + то, что запросы концентрируются именно на файлах изображений, а не на сайте произвольно. Самый надёжный способ подтвердить легитимность — проверить настройки самого плагина ShortPixel в CMS, если он установлен.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"
5. robots.txt для ShortPixel
# Жёсткий запрет
User-agent: shortpixel
Disallow: /
# Разрешить всё
User-agent: shortpixel
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: shortpixel
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /
Важно: ставьте Disallow или 403 для shortpixel, только если сайт точно не использует этот сервис для оптимизации изображений. Если плагин активен, блокировка сломает саму функцию, ради которой его установили, — сжатие и конвертацию картинок.
6. Блокировка вручную и через TrafficVeil
Nginx
Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.
# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
# Добавьте эти if в существующий server, сохранив остальную конфигурацию.
if ($http_user_agent ~* "shortpixel") {
return 403;
}
# Существующие listen, server_name и обработчики сайта остаются здесь.
}
Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.
# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_837b9a564a26_key {
default "";
"~*shortpixel" $binary_remote_addr;
}
limit_req_zone $tv_ng_837b9a564a26_key zone=tv_ng_837b9a564a26:10m rate=10r/m;
# server/location ниже — схема размещения, не новый виртуальный хост.
server {
# Используйте нужные существующие listen и server_name.
location / {
limit_req zone=tv_ng_837b9a564a26 burst=20 nodelay;
limit_req_status 429;
# Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
}
}
Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.
Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} shortpixel [NC]
RewriteRule ^ - [F,L]
TrafficVeil
- Найдите shortpixel в ботах домена или в /system/bots;
- Перед блокировкой проверьте в CMS, установлен ли и активен ли плагин ShortPixel Image Optimizer;
- Если сайт не использует сервис — категория «запретить»; если использует — Allow без ограничений;
- После изменения сверьте логи и, отдельно, работоспособность самого плагина — убедитесь, что блокировка (если она нужна была по другой причине) не задела активную оптимизацию.
7. Рекомендации: что делать с ShortPixel
- Сайт использует плагин ShortPixel — Allow без ограничений, это штатная часть его работы;
- Сайт не на WordPress или плагин точно не установлен — Disallow/403, легитимного повода для такого трафика в этом случае меньше;
- Если нагрузка мешает во время массовой (bulk) оптимизации — это разовый ожидаемый пик, а не постоянная проблема; для повторяющихся нагрузок можно рассмотреть rate-limit;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: если сервис используется — перестанут оптимизироваться изображения, что может сказаться на скорости загрузки сайта.
8. С кем не путать ShortPixel
| Бот / сосед | Кластер | UA | Комментарий |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
9. Стратегия allow/deny для ShortPixel
| Ситуация | Действие |
| Плагин ShortPixel установлен и активен | Allow без ограничений |
| Сайт не использует сервис | Disallow + запрет в TrafficVeil |
| Разовый пик при bulk-оптимизации медиатеки | Не блокировать — это ожидаемое поведение, не проблема |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Сверять с настройками плагина в CMS и с тем, что запросы идут к файлам изображений, а не произвольным страницам |
Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.
Частые вопросы
ShortPixel в логах — это сторонний краулер?
Что именно делает бот на сайте?
Почему иногда виден резкий всплеск запросов от ShortPixel?
Что сломается, если заблокировать ShortPixel на сайте, где он используется?
Стоит ли блокировать ShortPixel, если сайт не на WordPress?
Публикует ли ShortPixel список IP-адресов бота?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.