Если фильтровать access.log по shortpixel, часто всплывает целый пласт машинных хитов — это и есть ShortPixel, известный сервис оптимизации изображений (сжатие, конвертация в WebP/AVIF). Его WordPress-плагин установлен более чем на 300 000 активных сайтов с 2014 года — то есть в подавляющем большинстве случаев присутствие бота означает, что сайт сам подключил этот сервис для оптимизации своих же картинок, а не постороннее сканирование.
1. Что такое ShortPixel
ShortPixel работает как классический плагин-интеграция: владелец сайта устанавливает плагин ShortPixel Image Optimizer в WordPress, привязывает аккаунт по API-ключу — и дальше плагин отправляет изображения из медиатеки на сжатие через сервис ShortPixel, а сам бот забирает исходники для обработки. Отдельно сервис предлагает встроенный CDN для раздачи уже оптимизированных WebP/AVIF-файлов, CSS и JS, а также настройку, которая явно разрешает или запрещает использование изображений сайта AI-ботами для обучения моделей.
| Название | ShortPixel |
| User-Agent / паттерн | shortpixel |
| Оператор | ShortPixel — сервис оптимизации изображений, известный прежде всего по WordPress-плагину ShortPixel Image Optimizer |
| Роль | Забирает изображения сайта для сжатия и конвертации в современные форматы (WebP/AVIF) в рамках интеграции, которую сам владелец сайта настроил через плагин и API-ключ |
| Документация / ориентир | shortpixel.com — официальный сайт сервиса и страница плагина на wordpress.org |
| Список IP | ❌ Официального списка IP не найдено — проверяйте по UA и поведению |
| robots.txt | Данных о строгом соблюдении нет; поскольку трафик обычно инициирован собственным плагином сайта, необходимость в жёстких правилах robots.txt на практике возникает редко |
| Пометка TrafficVeil | Легитимный / Прочие краулеры и сервисы |
2. Зачем ShortPixel приходит на сайт
Если на сайте установлен и настроен плагин ShortPixel, визиты бота — ожидаемая, штатная часть его работы: он забирает изображения из медиатеки для сжатия и конвертации, а также может обращаться повторно при массовой оптимизации существующей библиотеки или при фоновой обработке через cron. Если же сайт не на WordPress или плагин ShortPixel никогда не устанавливался, легитимного повода для такого трафика заметно меньше — стоит проверить отдельно, не спутан ли он с чем-то другим под похожим UA.
- Какие зоны чаще трогает: публичные URL с изображениями — в первую очередь файлы из медиатеки, а не сайт целиком;
- Что ищет: исходные изображения для сжатия и конвертации в WebP/AVIF;
- Чем отличается от браузерного пользователя: нет нормальной сессии, обращения привязаны к работе плагина — разовой оптимизации, массовой обработке библиотеки или фоновым cron-задачам.
Типичный кейс: маркетинг видит всплеск hits в Метрике/GA, но сессии пустые. Причина — ShortPixel. Прежде чем реагировать, стоит свериться с настройками CMS: если плагин установлен и активен, это не «лишний» бот, а часть штатной оптимизации изображений сайта.
3. Нагрузка и риски именно для ShortPixel
Отдельной строки в публичной сводке top-bot TrafficVeil у shortpixel может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: фоновый шум в аналитике, расход CPU/bandwidth и искажение статистики «живого» трафика. Пик нагрузки логично ожидать при массовой (bulk) оптимизации всей существующей медиатеки — на большом сайте с тысячами изображений это может дать заметный кратковременный всплеск запросов, что не является проблемой самой по себе, если оптимизация действительно запущена осознанно.
4. Как найти ShortPixel в логах
Не ищите «просто ботов» — ищите конкретный токен shortpixel и сверяйтесь с тем, установлен ли плагин на сайте.
# Базовый поиск
grep -i "shortpixel" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот — ожидаемо изображения из медиатеки
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — проверьте, не совпадает ли пик с запуском bulk-оптимизации
grep -i "shortpixel" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Отделить от похожих строк
grep -iE "shortpixel|bot" /var/log/nginx/access.log | wc -lВерификация. Подделать User-Agent может любой скрипт. Официального списка IP оператор не публикует, поэтому для решения allow/deny смотрите связку: UA + частоту + то, что запросы концентрируются именно на файлах изображений, а не на сайте произвольно. Самый надёжный способ подтвердить легитимность — проверить настройки самого плагина ShortPixel в CMS, если он установлен.
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для ShortPixel
# Жёсткий запрет
User-agent: shortpixel
Disallow: /
# Разрешить всё
User-agent: shortpixel
Allow: /
# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: shortpixel
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /Важно: ставьте Disallow или 403 для shortpixel, только если сайт точно не использует этот сервис для оптимизации изображений. Если плагин активен, блокировка сломает саму функцию, ради которой его установили, — сжатие и конвертацию картинок.
6. Блокировка вручную и через TrafficVeil
Nginx
if ($http_user_agent ~* "shortpixel") {
return 403;
}
limit_req_zone $binary_remote_addr zone=shortpixel:10m rate=10r/m;
location / {
if ($http_user_agent ~* "shortpixel") {
limit_req zone=shortpixel burst=20 nodelay;
}
}Apache (.htaccess)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} shortpixel [NC]
RewriteRule ^ - [F,L]TrafficVeil
- Найдите shortpixel в ботах домена или в /system/bots;
- Перед блокировкой проверьте в CMS, установлен ли и активен ли плагин ShortPixel Image Optimizer;
- Если сайт не использует сервис — категория «запретить»; если использует — Allow без ограничений;
- После изменения сверьте логи и, отдельно, работоспособность самого плагина — убедитесь, что блокировка (если она нужна была по другой причине) не задела активную оптимизацию.
7. Рекомендации: что делать с ShortPixel
- Сайт использует плагин ShortPixel — Allow без ограничений, это штатная часть его работы;
- Сайт не на WordPress или плагин точно не установлен — Disallow/403, легитимного повода для такого трафика в этом случае меньше;
- Если нагрузка мешает во время массовой (bulk) оптимизации — это разовый ожидаемый пик, а не постоянная проблема; для повторяющихся нагрузок можно рассмотреть rate-limit;
- Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
- Что будет при блокировке: если сервис используется — перестанут оптимизироваться изображения, что может сказаться на скорости загрузки сайта.
8. С кем не путать ShortPixel
| Бот / сосед | Кластер | UA | Комментарий |
| 2ip Bot | Прочие краулеры и сервисы | 2ip bot | легитимный |
| AccessStatus | Прочие краулеры и сервисы | accessstatus | легитимный |
| AddThis.com | Прочие краулеры и сервисы | addthis.com | легитимный |
| Agent | Прочие краулеры и сервисы | agent | легитимный |
| AgentReadinessScanner | Прочие краулеры и сервисы | agentreadinessscanner | легитимный |
9. Стратегия allow/deny для ShortPixel
| Ситуация | Действие |
| Плагин ShortPixel установлен и активен | Allow без ограничений |
| Сайт не использует сервис | Disallow + запрет в TrafficVeil |
| Разовый пик при bulk-оптимизации медиатеки | Не блокировать — это ожидаемое поведение, не проблема |
| Нежелательный по базе TrafficVeil | Deny по умолчанию, исключения — точечно |
| Подозрение на spoofing UA | Сверять с настройками плагина в CMS и с тем, что запросы идут к файлам изображений, а не произвольным страницам |