Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
В отличие от Content Harmony и Content King — реальных SEO-компаний со схожими названиями — за токеном content optimizer не стоит ни один известный оператор: он встречается только в одном общем community-списке ботов без индивидуальной проверки. Разбираемся, почему это уже третий подобный случай в энциклопедии, и предлагаем провести ревизию всех записей из того же источника разом.
По официальной документации поддержки Archive-It реальный токен краулера — archive.org_bot, а не буквальное «archive-it» из черновика, и от этого зависит, увидите ли вы вообще этот трафик в логах. Разбираемся, чем клиентский сервис Archive-It отличается от общего краулинга Wayback Machine, почему одно только правило в robots.txt не гарантирует исключение из архива, и что делать, если контент критично важно оттуда убрать.
Content King — это ContentKing (часть Conductor), известная платформа непрерывного SEO-мониторинга, а не сборщик данных для AI-моделей, и появление бота в логах почти всегда означает вашу же подключённую систему отслеживания сайта. Разбираемся, почему почти постоянное присутствие в логах здесь — ожидаемое поведение, а не тревожный сигнал, и откуда взялась ошибка с категорией AI-краулера.
FirecrawlAgent принадлежит не безымянному оператору, а известному dev-tool сервису Firecrawl, который прямо позиционирует себя в том числе как инструмент для подготовки обучающих датасетов языковых моделей. Разбираемся, почему полный рендеринг JavaScript в реальном браузере делает нагрузку от этого краулера тяжелее типичного HTTP-бота, и почему риск утечки контента здесь обоснован сильнее, чем у многих других записей в этой же категории.
Manus-User — это не безымянный сборщик данных, а идентификатор автономного AI-агента компании Butterfly Effect, который заходит на сайты по прямому поручению конкретного человека, а не для системного обхода. Разбираемся, почему блокировка такого трафика по умолчанию вредит реальным пользователям, а не защищает сайт, и почему запись, вероятно, попала не в ту категорию базы.
За токеном apache-httpclient в access.log может стоять что угодно — от банковской B2B-интеграции до чужого скрейпера, потому что это открытая Java-библиотека без единого оператора. Разбираемся, что на самом деле означает версия Java в строке UA, почему в старых логах эта версия могла вводить в заблуждение, и как не заблокировать случайно свою же корпоративную интеграцию.
BlogVault — реальный сервис резервного копирования WordPress, который сайт подключает сознательно, а не сторонний краулер, и официальная верификация здесь строится на связке User-Agent и обратного DNS. Разбираемся, почему первый шаг при появлении этого бота в логах — не техническая блокировка, а простой вопрос о том, чей это аккаунт, и что делать, если подключение осталось от прежнего подрядчика.
В отличие от Facebook External Hit или LMArenaUnfurlBot, которые честно называют себя в User-Agent, за родовым «page-preview-tool» не стоит ни один известный оператор — это третий подобный случай, который мы разбираем в этой энциклопедии. Разбираемся, почему отсутствие бренда в названии — само по себе значимый сигнал, и почему категория «легитимный» здесь не подкреплена фактами.
LMArenaUnfurlBot принадлежит не безымянному оператору, а LMArena — авторитетной платформе для сравнения AI-моделей, с которой сотрудничают OpenAI, Google DeepMind и Anthropic. Разбираемся, как устроен этот fetcher превью-ссылок, почему для сайтов в AI-тематике присутствие в его экосистеме может быть реальным плюсом, и когда стандартная рекомендация allow вполне обоснована.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.