Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Rytr — массовый AI-инструмент для копирайтинга с 2021 года и свыше 8 миллионов пользователей. Разбираем, почему встроенная функция проверки на плагиат (на основе Copyscape) — самое правдоподобное объяснение обращений бота к сторонним сайтам, и чем это принципиально отличается от системного сбора данных для обучения языковой модели.
Точного подтверждённого оператора для токена page analyzer ai не нашлось, но само название указывает на широкую категорию бесплатных SEO/контент-анализаторов, куда обход инициируется вручную пользователем через веб-форму. Разбираем, почему это ближе к разовому инструменту анализа по запросу, чем к системному сбору данных для чужого AI-продукта, и как проверить эту гипотезу по паттерну в собственных логах.
FeedBurner — не безымянный сервис, а один из старейших продуктов Google (с 2007 года), чьи ключевые функции последовательно отключались в 2012 и 2022 годах. Разбираем историю растянутого на полтора десятилетия угасания сервиса и почему присутствие его краулера в логах в 2026 году — обычно сигнал технического долга, а не активно поддерживаемой интеграции.
Вопреки шаблонному описанию как «краулера для обучающих датасетов», Perplexity официально заявляет: компания не строит базовые модели, и Perplexity-User — не PerplexityBot, а совсем другой агент, срабатывающий в реальном времени по запросу живого пользователя. Разбираем ключевое официальное признание компании — этот агент, как правило, не соблюдает robots.txt, — и почему для чувствительных разделов сайта нужен настоящий контроль доступа, а не файл политики.
В отличие от по-настоящему анонимных ботов, PocketParser когда-то был полностью официально задокументирован — фетчер превью для сервиса Pocket (Read It Later, Inc. → Mozilla). Но сам Pocket закрыт, а данные пользователей безвозвратно удалены в ноябре 2025 года. Разбираем, почему появление этого UA сегодня требует не «мониторинга до выяснения оператора», а прямо противоположного вывода — легитимного адресата у этого трафика больше нет.
Ссылка в User-Agent SleepBot ведёт на сайт, не обновлявшийся с января 2008 года — заброшенную страницу частного лица с работающим интернет-радио, что заставило сообщество Hacker News всерьёз обсуждать, не ARG ли это. Разбираем это необычное расследование, противоречивые сообщения о поведении бота (от полного бездействия до агрессивного сканирования вопреки заявленному соблюдению правил), и почему загадочность не равна безобидности.
Content Samurai — исходное название сервиса, который в 2020 году переименовали в Vidnami, а в сентябре 2021-го окончательно закрыли после поглощения GoDaddy. Разбираем, почему появление именно этого, более раннего бренда в логах 2026 года говорит об ещё более устаревшем источнике спуфинга, и почему оба исторических имени стоит блокировать одним правилом
По официальному описанию проекта well-known.dev, WellKnownBot — не веб-краулер, а узкоспециализированный инструмент, сканирующий лишь несколько конкретных публичных well-known-файлов. Разбираем, почему именно эта классификация выводит бота из-под действия общих правил User-agent: * в robots.txt, и почему для большинства сайтов разрешение безвредно — сканируются файлы, изначально открытые для программного доступа.
За именем Blackboard, вероятно, стоит крупный разработчик LMS для высшего образования, а конкретный краулер связан с модулем проверки на плагиат SafeAssign. Разбираем реальный задокументированный эпизод, когда упоминание GitHub в строке User-Agent само по себе провоцировало блокировку легитимного бота, и свежую позицию Blackboard по проблеме AI-агентов, неотличимых от студентов.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.