IonCrawl: кто из IONOS следит за вашими ценами

IonCrawl стоит отдельного правила в антиботе: это не «ещё один hit», а повторяемый паттерн автоматизации в категории «Прочие краулеры и сервисы» — и, в отличие от многих соседей по категории, у этого бота есть официальная страница документации от известного оператора.

Что такое IonCrawl

Зачем IonCrawl приходит на сайт

IonCrawl «ходит по списку»: в отличие от массового поискового индексирования, он делает сфокусированные, повторяющиеся запросы именно к тем страницам, которые интересны конкретным клиентам IONOS — ценам, каталогу товаров, новостным анонсам. Частота таких визитов может варьироваться от нескольких раз в час до раза в неделю, в зависимости от того, насколько «горячей» считается информация на сайте для отслеживающего клиента.

• Какие зоны чаще трогает: страницы с ценами, каталогом, анонсами и новостями — те, что представляют бизнес-ценность для мониторинга
• Что ищет: данные для бизнес-аналитики — брендовые упоминания, рыночные тренды, изменения цен и ассортимента
• Чем отличается от браузерного пользователя: нет сессии, точечные повторные визиты именно на отслеживаемые страницы, а не широкий обход всего сайта

Важный нюанс: сайты, которые не попали в watchlist ни одного клиента IONOS, этот бот может вообще никогда не посетить — в отличие от типичных краулеров, обходящих весь публичный веб без разбора.

Нагрузка и риски

Отдельной строки в публичной сводке top-bot TrafficVeil у ioncrawl может не быть, но в категории «Прочие краулеры и сервисы» такие агенты дают характерный фон: на отдельных доменах серии запросов выглядят как мини-волны автоматизации без конверсий — что логично, поскольку задача бота не привести посетителя, а собрать данные для стороннего клиента. Смотрите не только абсолютный RPS, но и качество хитов: концентрация именно на ценовых и каталожных страницах — характерный признак этого типа бота, а не случайный обход служебных разделов.

Кому выгодны визиты IonCrawl

Прямой пользы владельцу сайта визиты IonCrawl обычно не приносят — выгодоприобретатель здесь клиент IONOS, который следит за вашими ценами, каталогом или брендовыми упоминаниями. Если среди таких клиентов — ваши конкуренты, отслеживающие ценовую и SEO-стратегию, блокировка может дать тактическое преимущество, лишив их доступа к актуальным данным о вашем сайте.

Как найти IonCrawl в логах

# Базовый поиск
grep -i "ioncrawl" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "ioncrawl" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "ioncrawl" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "ioncrawl" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Верификация

Официального списка IP IONOS для этого краулера не публикует, поэтому строке UA напрямую доверять нельзя — любой клиент теоретически может присвоить себе это имя. Используйте связку reverse/forward DNS:

IP="1.2.3.4"
host "$IP"
# затем forward-проверка полученного хоста — резолвится ли он обратно в тот же IP
# и связан ли домен с доверенным оператором (IONOS)

robots.txt для IonCrawl

# Жёсткий запрет
User-agent: ioncrawl
Disallow: /

# Разрешить всё
User-agent: ioncrawl
Allow: /

# Компромисс: закрыть служебные разделы, оставить публичку
User-agent: ioncrawl
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: поскольку соблюдение robots.txt подтверждено, это надёжный и предсказуемый инструмент контроля именно для этого бота — жёсткие серверные меры обычно не требуются в первую очередь.

Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "ioncrawl") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=ioncrawl:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "ioncrawl") {
        limit_req zone=ioncrawl burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ioncrawl [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите ioncrawl / IonCrawl в ботах домена или в /system/bots
• Не хотите отдавать данные о ценах/каталоге во внешнюю бизнес-аналитику — Disallow + deny
• Заинтересованы в присутствии в отраслевом мониторинге IONOS — Allow, следите за частотой
• После изменения сверьте логи: хиты ioncrawl должны уйти в блок/лимит, а поисковики Google/Yandex остаться без изменений

Рекомендации: что делать с IonCrawl

• Не хотите отдавать цены/каталог в стороннюю BI-аналитику — Disallow + deny в TrafficVeil
• Есть интерес быть заметным в мониторинге IONOS — Allow, следя за частотой обращений
• Подозреваете, что конкуренты следят за вашей стратегией через IONOS — блокировка лишает их этих данных, а не только «чистит» логи
• Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot

С кем не путать IonCrawl