Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Официальное назначение Collapsify, связь с Custom Errors, статус открытого репозитория и проверка запросов перед выбором ограничений доступа.
Разбор краулера Cloudflare-AutoRAG (AI Search) — почему он обходит только домены внутри вашего же аккаунта Cloudflare, зачем нужен для RAG-индексации и как отключить или ограничить его через дашборд, сервер или TrafficVeil.
Разбор официального краулера Amazon для карточек товаров — что он собирает, чем полезен продавцам на Amazon, какие директивы robots.txt поддерживает и как настроить allow/deny через сервер или TrafficVeil.
Разбор бота Bugsnag — известного сервиса отслеживания ошибок приложений. Зачем он обращается к сайту, чем отличается от Bugsnag script fetcher и как принимать решение allow/deny по бизнес-пользе, а не по умолчанию.
Разбор bne.es_bot — официального архивного краулера Национальной библиотеки Испании (BNE). Почему он законно игнорирует robots.txt, зачем архивирует испанский веб и как настроить блокировку через сервер или TrafficVeil.

Разбор ABEvalBot — краулера без подтверждённого оператора, документации и IP-листа. Как отличить его в логах, на что смотреть при отсутствии официальных данных и почему по умолчанию рекомендуется deny.
Разбор краулера adidxbot от Microsoft — кто его оператор, зачем он проверяет посадочные страницы Bing Ads, как отличить его от подделки и настроить allow/deny через robots.txt, сервер или TrafficVeil.
Разбор краулера AdkernelTopicCrawler от adtech-провайдера Adkernel — как он определяет тематику страниц для контекстной рекламы, кому это выгодно и как настроить allow/deny через robots.txt, сервер или TrafficVeil.
Разбор рекламного краулера AudigentAdBot от сервиса Audigent — что он собирает, чем отличается от «старшего брата» AudigentBot, почему wildcard-правило его не блокирует и как настроить allow/deny через robots.txt или TrafficVeil.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.