Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
crawlq ai в логах путают со сборщиком данных для обучения нейросети, хотя вероятнее — чей-то конкурентный анализ через маркетинговую платформу CrawlQ. Разбираемся, почему это не то же самое, что обучающий AI-краулер.
deepai в логах путают со сборщиком данных для обучения нейросети, хотя вероятнее — точечный запрос из Online Mode текстового генератора DeepAI. Разбираемся, почему тревога о «слитом контенте» тут преувеличена.
okhttp в логах не привязан к одной компании — это открытая сетевая библиотека, которую используют тысячи разных приложений. Разбираемся, почему решение allow/deny здесь всегда зависит от контекста, а не от самого имени.
mirrorweb в логах часто списывают на безымянную инфраструктуру, хотя это краулер компании MirrorWeb для архивирования сайта под регуляторные требования. Разбираемся, почему блокировка может создать пробел в обязательной отчётности.
echoboxbot в базах часто помечен как нежелательный, хотя это бот сервиса Echobox для автопостинга статей в соцсети — обычно означает, что сайт сам подключён к платформе. Разбираемся, почему блокировка может сорвать публикации редакции.
amzn-user часто маркируют как нежелательный неопознанный трафик, хотя это официальный агент Amazon, который забирает страницу в ответ на реальный вопрос пользователя Alexa. Разбираемся, почему блокировка здесь может стоить упоминания в голосовом ассистенте.
copymatic в логах путают с ботом, собирающим сырьё для нейросети, хотя это сервис AI-копирайтинга для конечных пользователей. Разбираемся, почему визит скорее точечный, чем массовый сбор контента.
allafrica в логах обычно списывают на безымянный «прочий сервис», хотя это бот реального панафриканского новостного агрегатора с почти 30-летней историей. Разбираемся, зачем он заходит и когда его стоит пускать.
mediumbot-metatagfetcher часто путают с ботом Meta из-за созвучного названия, но это фетчер превью-ссылок платформы Medium.com. Разбираемся, почему пометка «нежелательный» здесь ошибочна и когда его стоит разрешать.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.