Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем Jugendschutzprogramm-Crawler — бота немецкой организации JusProg, который оценивает контент для системы родительского контроля. Показываем, почему блокировка через robots.txt не всегда работает, как найти бота в access.log и что учесть для контента 18+ на DE-рынке.
Разбираем CriteoBot — краулер Criteo, который классифицирует контент страниц для контекстной рекламы и, для участников сети, индексирует товары под ретаргетинг. Показываем официальные ASN и IP для верификации, как найти бота в access.log и настроить allow/deny.
Разбираем Awario — семейство краулеров сервиса social listening, которые точечно ищут упоминания брендов на сайтах. Показываем, как отличить AwarioBot, AwarioSmartBot и AwarioRssBot, найти их в access.log и настроить allow/deny через robots.txt, nginx или TrafficVeil.
Разбираем WireReaderBot — краулер iOS-приложения Wire RSS Reader, который не только опрашивает ленту, но и докачивает полный текст статей для офлайн-чтения. Показываем, как найти его в access.log, отличить от похожих фид-ботов и настроить allow/deny.
Разбираем NixStatsMonitoringBot — внешний HTTP-чекер нидерландского сервиса Nixstats (WebPros), который проверяет доступность, скорость ответа и SSL сайта. Показываем, как отличить свой мониторинг от чужого или провайдерского, найти бота в access.log и настроить allow/deny.
Разбираем AI2Bot — некоммерческого краулера Ai2, который собирает контент для открытых языковых моделей и датасета Dolma. Показываем, чем он отличается от Ai2Bot-Dolma и AI2Bot-DeepResearchEval, как найти его в логах и настроить allow/deny.
Разбираем montastic-monitor — сервис uptime-мониторинга Montastic, который проверяет доступность сайта по расписанию. Показываем, как отличить свой мониторинг от чужого, найти бота в access.log и настроить allow/deny через robots.txt, nginx или TrafficVeil.
Паттерн sellers.guide принадлежит реальному сервису Primis для проверки цепочки поставок рекламы. Разбираем, почему закрытие sellers.json может напрямую стоить рекламных денег, и когда бот полезен самому издателю.
Разбираем, что означает User-Agent jetpack в access.log — служебный трафик плагина Automattic для WordPress-сайтов. Показываем, как отличить легитимный Jetpack от спуфинга, найти его в логах и настроить allow/deny через firewall и TrafficVeil.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.