SEO Robot: бот без подтверждённой личности, а не легитимный AI-краулер

У большинства ботов в этой энциклопедии за строкой UA стоит конкретная компания или открытый проект с документацией. У «seo robot» такой опоры нет: ни один открытый каталог краулеров, ни один вендор бот-аналитики не связывает этот токен с известным сервисом или оператором. Это не «ещё один легитимный AI-краулер», как можно было бы предположить по названию, а обезличенный автоматический клиент без публично подтверждённой личности — и относиться к нему стоит соответственно осторожнее.

1. Что такое SEO Robot на самом деле

По открытым источникам — каталогам известных ботов, базам User-Agent, документации крупных операторов AI-краулеров (OpenAI, Anthropic, Google, Meta, Perplexity и другие публикуют официальные списки своих UA) — токен seo robot нигде не фигурирует как опознанный, задокументированный краулер. Это отличает его от подавляющего большинства других записей в категории «AI и LLM-краулеры», где за каждым именем стоит конкретная компания с публичной политикой доступа.

Наиболее вероятное объяснение — самодельный или коммерческий скрипт-скрейпер, который использует общее, ничего не раскрывающее название вместо честной идентификации (сравните с честным подходом: GPTBot, ClaudeBot, PerplexityBot — имя сразу называет оператора). Такое поведение само по себе не доказывает злого умысла, но и не даёт оснований считать бота автоматически безопасным только потому, что в названии есть слово «SEO».

2. Зачем SEO Robot приходит на сайт

Поскольку официальной цели у бота нет, о назначении можно судить только по поведению:

• обход публичных URL, иногда каталога и пагинации — паттерн, характерный и для честных SEO-инструментов, и для примитивных скрейперов контента;
• отсутствие нормальной сессии и повторяемый path-паттерн — типично для автоматизации в целом, не говорит ничего конкретного о цели;
• сам факт использования расплывчатого названия вместо честного самопредставления — сигнал, что оператор, вероятно, не заинтересован в том, чтобы вы могли его identifицировать и написать с вопросом о цели обхода, как это можно сделать с крупными операторами.

Типичный кейс: в аналитике фиксируется рост хитов без конверсий, в access.log под этим временем — seo robot на пагинации и карточках. В отличие от случаев с задокументированными ботами, здесь нельзя с уверенностью сказать, что происходит — снятие технических метрик, копирование контента для стороннего сервиса или что-то ещё.

3. Нагрузка и риски

Главный риск здесь — не столько нагрузка, сколько неопределённость: без публичной документации нельзя достоверно исключить сбор контента для republishing, построение ссылочного графа для чужого SEO-инструмента или любую другую цель, которую заявленные операторы обычно раскрывают сами.

Смотрите не только абсолютный RPS, но и качество хитов: глубина обхода, повторы одних и тех же URL, отсутствие cookie/сессий и концентрация на служебных или листовых страницах — при отсутствии официальной идентичности эти поведенческие сигналы становятся единственным источником информации о боте.

4. Как найти SEO Robot в логах

# Базовый поиск
grep -i "seo robot" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "seo robot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — при отсутствии официального диапазона это единственный ориентир
grep -i "seo robot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "seo robot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка на совпадение IP с известными датацентрами/облаками — частый признак скрейпера без честной идентификации
grep -i "seo robot" /var/log/nginx/access.log | awk '{print $1}' | sort -u

Верификация. Здесь верификация важнее, чем для большинства других записей в энциклопедии: строку UA подделать может любой скрипт, а поскольку у «seo robot» нет ни официального оператора, ни опубликованных IP-диапазонов, единственный доступный метод — смотреть ASN и поведение целиком, не доверяя самому факту наличия «правдоподобного» имени в UA:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для SEO Robot

Поскольку публичного оператора нет, надеяться на добросовестное соблюдение robots.txt не стоит — правило имеет смысл выставить на всякий случай, но полагаться нужно на серверную блокировку.

# Жёсткий запрет
User-agent: seo robot
Disallow: /

# Компромисс: закрыть личный кабинет и служебные разделы, если решите не блокировать полностью
User-agent: seo robot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "seo robot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=seorobot:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "seo robot") {
        limit_req zone=seorobot burst=20 nodelay;
    }
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "seo robot" [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите seo robot в разделе ботов домена или в /system/bots;
• поскольку у бота нет подтверждённой полезной функции и нет способа связаться с оператором, стандартная рекомендация — Disallow плюс запрет, а не выжидательный allow «на всякий случай»;
• если решите оставить мягкий режим — используйте rate-limit, а не полный allow, чтобы ограничить возможный ущерб при неясной цели обхода;
• после изменения сверьте логи: хиты seo robot должны уйти в блок/лимит, а нужные поисковики остаться.

7. Что делать: короткий алгоритм

• Нет подтверждённой личности оператора и нет делового обоснования для allow — блокируйте по умолчанию, это самый безопасный вариант;
• Заметили конкретную пользу от этого трафика (например, реферальные переходы с явно идентифицируемого источника) — прежде чем разрешать, попробуйте выяснить, кто реальный оператор, через анализ IP/ASN;
• Нагрузка минимальна и роли не играет — можно отложить решение и просто мониторить, не давая полный allow;
• Не путайте отсутствие вреда с подтверждённой легитимностью — это разные вещи, особенно когда у бота нет публичной документации;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит отдельно обратить внимание: присвоенная категория «Легитимный / AI и LLM-краулеры» для этого бота не подтверждается ничем, кроме предположения по названию токена. Ни один открытый каталог краулеров, ни документация известных AI-операторов не связывают «seo robot» с реальным AI/LLM-продуктом. Учитывая это, категория и статус легитимности этой записи, по всей видимости, стоит пересмотреть — возможно, в сторону «неопознанный» или «нежелательный по умолчанию», а не «легитимный» наравне с ботами, у которых есть подтверждённый оператор.

9. Стратегия allow/deny для SEO Robot