Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Brightbot — официальный data-collection crawler компании Bright Data с User-Agent Brightbot 1.0 и выделенной подсетью 82.97.199.0/24. Разбираемся, зачем он собирает публичные данные, как проверить настоящий Brightbot, что такое collectors.txt и когда выбирать Allow, Monitor, Rate Limit или Block.
ZimmWriter — AI/SEO-приложение, способное загружать и анализировать веб-страницы для рерайта, исследований и создания контента. Разбираемся, что означает User-Agent zimmwriter, почему его нельзя считать LLM-training crawler, как проверить источник и выбрать Allow, Monitor, Rate Limit или Block.
bigsur.ai — подтверждённый AI-crawler компании Big Sur AI. Разбираемся, зачем он получает страницы сайтов, как выглядит User-Agent, как отличить настоящий Big Sur AI от spoofing и когда использовать Allow, Monitor, Rate Limit или Block.
FreshRSS — self-hosted RSS/Atom-агрегатор, экземпляры которого периодически получают feeds и могут также извлекать контент из обычных HTML-страниц через XPath. Разбираемся, почему FreshRSS появляется в access.log, откуда берутся разные IP и User-Agent и когда использовать Allow, Cache, Rate Limit или Block.
Inoreader — облачный RSS-ридер от Innologica, который централизованно получает RSS/Atom-ленты для подписчиков. Разбираемся, почему его запросы регулярно появляются в access.log, как работает polling, какие User-Agent встречаются и когда выбирать Allow, Cache, Rate Limit или Block.
Writescope — наблюдаемый User-Agent, который встречается в списках AI-ботов, но его оператор и точное назначение публично не подтверждены. Разбираемся, как определить writescope в access.log, проверить источник по IP, ASN и поведению и выбрать Monitor, Rate Limit или Block.
Instaparser — сервис получения и разбора веб-страниц от команды Instapaper. Он может загружать конкретные URL для сохранения статей, извлечения структурированного текста, создания summaries и других функций. Разбираемся, как определить Instaparser/1.0, какую нагрузку он создаёт и когда использовать Allow, Rate Limit или Block.
Feedspot — RSS-ридер и сервис синдикации контента, который автоматически получает RSS/Atom-ленты и может отслеживать обычные веб-страницы через RSS Builder. Разбираемся, почему Feedspot появляется в access.log, какую нагрузку создаёт и когда использовать Allow, Rate Limit или Block.
Writecream — известная AI-платформа для генерации контента, однако назначение HTTP-клиента с User-Agent writecream документировано слабо. Разбираемся, что действительно известно, как проверить источник по IP, ASN и поведению и когда применять Monitor, Rate Limit или Block.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.