Боты6 мин чтения·13 августа 2026 г.·обновлено 19 ноября 2026 г.

AI SEO Crawler: имя на стыке двух индустрий, без оператора ни в одной

Разбираем токен AI SEO Crawler — не совпадает ни с реальными SEO-краулерами (AhrefsBot, SemrushBot), ни с реальными AI-краулерами (GPTBot, PerplexityBot). Показываем, какие настоящие токены разрешать вместо него, и почему deny по умолчанию оправдан.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота AI SEO Crawler: легитимный ai и llm-краулеры

В логах сайт может выглядеть «живым», хотя рост даёт не аудитория, а AI SEO Crawler с User-Agent ai seo crawler. Важное уточнение по итогам проверки: ни классические SEO-краулеры, ни реальные AI-краулеры не используют именно эту обобщённую фразу как свой UA — у каждой категории есть собственные, чётко задокументированные имена, и «AI SEO Crawler» не совпадает ни с одной из них.

1. Что такое AI SEO Crawler

SEO-платформы, которые реально обходят сайты для технического аудита, отслеживания позиций и анализа ссылок, называют себя конкретно: AhrefsBot у Ahrefs, SemrushBot у Semrush, ClarityBot у seoClarity, боты Screaming Frog и Majestic — у каждого своё уникальное имя и, как правило, документация о соблюдении robots.txt. Реальные AI-краулеры точно так же называются конкретно: GPTBot, ClaudeBot, PerplexityBot, Claude-SearchBot и подобные. Токен «AI SEO Crawler» будто пытается объединить обе категории в одном обобщённом имени — но ни один известный оператор ни из SEO-индустрии, ни из мира AI так себя не называет.

Название AI SEO Crawler
User-Agent / паттерн ai seo crawler
Оператор Не установлен — ни известные SEO-платформы (Ahrefs, Semrush, seoClarity, Screaming Frog, Majestic), ни известные AI-краулеры не используют этот UA
Роль По шаблону категории — наполнение AI-индекса или обучающей/retrieval-выборки; но без подтверждённого оператора нельзя сказать, что реально стоит за токеном
Документация / ориентир Публичной документации для этого конкретного токена не найдено ни в SEO-, ни в AI-каталогах ботов
Список IP ❌ Официального списка нет
robots.txt Поведение непредсказуемо — нет подтверждённого единого оператора, который мог бы задать политику
Пометка TrafficVeil Легитимный / AI и LLM-краулеры — присвоено по шаблону категории, конкретных оснований для доверия меньше, чем для документированных SEO- или AI-краулеров

2. Зачем AI SEO Crawler приходит на сайт

Шаблонное объяснение категории — визиты чаще связаны с наполнением AI-индекса или обучающей/retrieval-выборки, а не с классической поисковой выдачей. Но раз токен не совпадает ни с одной документированной SEO- или AI-платформой, стоит относиться к заявленной цели со скепсисом: возможно, это небольшой no-name инструмент, который скомбинировал слова «AI» и «SEO Crawler» в описательное, но никак не защищённое конкретным брендом имя.

  • Какие зоны чаще трогает: /blog/, /product/, /category/, /news/, /api/ (если открыто), пагинация каталога;
  • Что ищет: контент, метаданные, availability или ссылочный граф — конкретная цель не подтверждена официальной документацией;
  • Чем отличается от браузерного пользователя: нет нормальной сессии, другие интервалы, повторяемый path-паттерн.

Типичный кейс: ночью RPS растёт, конверсий нет. В access.log доминирует ai seo crawler на пагинации и карточках. Прежде чем решить, что это «в целом безобидный SEO- или AI-инструмент», сравните его с настоящими SEO-ботами (AhrefsBot, SemrushBot) — если вы сами используете один из этих сервисов, их трафик будет называться иначе, и «AI SEO Crawler» не заменяет и не дублирует их.

3. Нагрузка и риски именно для AI SEO Crawler

Отдельной строки в публичной сводке top-bot TrafficVeil у ai seo crawler может не быть, но в категории «AI и LLM-краулеры» такие агенты дают характерный фон: нагрузка может быть «тихой» — не DDoS в классическом смысле, но постоянный съём HTML и рост bandwidth. Для этого токена риск неопределённости выше среднего: нет ни репутации SEO-индустрии (где у крупных игроков есть публичные соглашения и документация), ни репутации известного AI-оператора — только обобщённое, ничем не подкреплённое имя.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти AI SEO Crawler в логах

Не ищите «просто ботов» — ищите конкретный токен ai seo crawler и сравнивайте с настоящими SEO- и AI-краулерами.

# Базовый поиск
grep -i "ai seo crawler" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "ai seo crawler" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "ai seo crawler" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "ai seo crawler" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверить полную строку UA — есть ли ссылка на реального оператора
grep -io "ai seo crawler[^\"]*" /var/log/nginx/access.log | sort -u | head

# Сравнить с настоящими SEO- и AI-краулерами
grep -iE "ahrefsbot|semrushbot|gptbot|perplexitybot|claudebot" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Официального списка IP нет, поэтому смотрите полную строку UA целиком: у реальных SEO- и AI-краулеров всегда есть ссылка на документацию оператора. Если такой ссылки нет — доверять названию не стоит.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для AI SEO Crawler

# Жёсткий запрет
User-agent: ai seo crawler
Disallow: /

# Разрешить всё
User-agent: ai seo crawler
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: ai seo crawler
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для ai seo crawler, если пользы нет — с учётом отсутствия подтверждённого оператора это разумный default. Если вы сами используете реальный SEO-инструмент (Ahrefs, Semrush и подобные), настраивайте правила под их настоящие токены, а не под этот обобщённый.

6. Блокировка вручную и через TrafficVeil

Nginx

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "ai seo crawler") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_c047295f3a63_key {
    default "";
    "~*ai seo crawler" $binary_remote_addr;
}
limit_req_zone $tv_ng_c047295f3a63_key zone=tv_ng_c047295f3a63:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_c047295f3a63 burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ai seo crawler [NC]
RewriteRule ^ - [F,L]

TrafficVeil

  • Найдите ai seo crawler в ботах домена или в /system/bots;
  • Для нежелательного сценария — категорию «запретить»; для мягкого — rate-limit;
  • Allow только при явной, подтверждённой пользе — и не путайте этот токен с реальными используемыми вами SEO-инструментами;
  • После изменения сверьте логи: хиты ai seo crawler должны уйти в блок или лимит, а настоящие SEO- и поисковые боты — остаться без изменений.

7. Рекомендации: что делать с AI SEO Crawler

  • Если пользы нет — Disallow/403 для ai seo crawler, если пользы нет;
  • Если вы используете реальный SEO-инструмент — проверьте, что его настоящий токен (AhrefsBot, SemrushBot и подобные) разрешён отдельно, независимо от политики по этому обобщённому имени;
  • Если нагрузка мешает — сначала rate-limit, затем полный запрет;
  • Не режьте слишком широко User-agent: *, чтобы случайно не закрыть Googlebot/YandexBot;
  • Что будет при блокировке: блокировка почти не бьёт по классическому SEO Google/Yandex и, вероятнее всего, не затрагивает работу реальных SEO-инструментов, которые называются иначе.

8. С кем не путать AI SEO Crawler

Бот / сосед Кластер UA Комментарий
AhrefsBot SEO-краулеры ahrefsbot реальный, документированный краулер Ahrefs
SemrushBot SEO-краулеры semrushbot реальный, документированный краулер Semrush
ClarityBot SEO-краулеры claritybot реальный краулер seoClarity, соблюдает robots.txt и crawl-delay
AI Article Writer AI и LLM-краулеры ai article writer такой же обобщённый токен без единого подтверждённого оператора
AI Search Engine AI и LLM-краулеры ai search engine такой же обобщённый токен без единого подтверждённого оператора

9. Стратегия allow/deny для AI SEO Crawler

Ситуация Действие
Используете реальный SEO-инструмент Настроить правило под его настоящий токен (AhrefsBot, SemrushBot и подобные), не под ai seo crawler
Только мешает и жрёт ресурсы Disallow + запрет в TrafficVeil
Нужен доступ, но пики по ночам Rate-limit на nginx/TrafficVeil
Нежелательный по базе TrafficVeil Deny по умолчанию, исключения — точечно
Подозрение на spoofing UA Высокое по умолчанию — обобщённое имя без подтверждённой связи с оператором скорее повод для проверки, чем для доверия
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

AI SEO Crawler — это Ahrefs, Semrush или похожий инструмент?
Нет, реальные SEO-платформы называют себя конкретно — AhrefsBot, SemrushBot, ClarityBot — и ни один из них не использует эту обобщённую фразу как свой User-Agent.
Может быть, это всё-таки реальный AI-краулер под другим названием категории?
Тоже нет — настоящие AI-краулеры (GPTBot, ClaudeBot, PerplexityBot) тоже называются конкретно и документированно, этот токен не совпадает ни с одним из них.
Если я использую Ahrefs или Semrush, повлияет ли на них блокировка этого токена?
Нет, трафик реальных SEO-инструментов идёт под их собственными настоящими токенами, и блокировка ai seo crawler их не затронет.
Стоит ли по умолчанию блокировать этот токен?
Да, при отсутствии дополнительных подтверждений это разумный default — как и для других обобщённых имён без единого верифицированного оператора.
Как проверить полную строку UA на признаки настоящего оператора?
Смотреть на наличие ссылки на официальный домен известного SEO- или AI-сервиса — у реальных операторов она есть всегда, у обобщённых токенов обычно отсутствует.
Что делать, если хочется разрешить и SEO-инструменты, и AI-краулеры одновременно?
Настроить отдельные правила под каждый настоящий токен (AhrefsBot, SemrushBot, GPTBot, PerplexityBot и подобные) — общее обобщённое имя не заменяет и не объединяет их.
#AI SEO Crawler#AhrefsBot#SemrushBot#generic-боты#анализ логов#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота AI Article Writer: легитимный ai и llm-краулеры
Боты·6 мин

AI Article Writer в логах: атрибуция и контроль запросов

Что можно заключить по заявленной строке AI Article Writer, когда оператор не подтверждён. Проверка собственных интеграций, ограничение запросов и границы robots.txt.

Читать
Уникальная иллюстрация бота AI Content Detector: легитимный ai и llm-краулеры
Боты·6 мин

AI Content Detector: узнаваемая тема, неподтверждённый бот

Разбираем токен AI Content Detector — совпадает по смыслу с реальной и развитой индустрией (GPTZero, Copyleaks, Originality.ai), но без подтверждённой связи с конкретным оператором. Показываем, почему логика самих детекторов не предполагает фонового обхода сайтов, и как настроить deny по умолчанию.

Читать
Уникальная иллюстрация бота AI Dungeon: легитимный ai и llm-краулеры
Боты·6 мин

AI Dungeon в логах: известное имя, недоказанный краулер

Разбираем токен AI Dungeon — совпадает с названием известной AI-игры Latitude, но доказательств связи этого трафика с реальной компанией не нашлось. Показываем, почему узнаваемость бренда — не повод доверять боту, как найти его в access.log и настроить deny по умолчанию.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil