Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
LinkupBot не просто забирает контент для индекса Linkup — сайт может получать реальные цитирования в AI-ответах. Разбираем эту citation-модель, формирующийся стандарт TDMRep и путаницу с job-ботом LinkUp.com.
Determ утверждает, что их краулер уважает robots.txt, но реальный полевой отчёт вебмастера ставит это под вопрос. Разбираем масштаб сканирования (100+ млн источников) и когда упоминание в отчётах media monitoring может сыграть в плюс.

Полевые логи вебмастеров фиксируют неаккуратный шаблон запросов у 2ip bot и явное игнорирование robots.txt. Разбираем, как отличить настоящий трафик по поведению, а не только по строке UA.
Этот краулер собирает данные для карточек домена на небольшом немецком каталоге сайтов. Разбираем, когда такая видимость реально полезна, а когда — нет.
Оператор сам заявляет на официальной странице, что ограничить этого робота через robots.txt невозможно — прямая противоположность обычной практике. Разбираем, что это значит для настройки блокировки.
vkShare забирает превью только в момент реального шеринга ссылки — резкий рост хитов почти всегда означает вирусный охват публикации. Разбираем, почему rate-limit лучше полного бана и как не сломать карточку в разгар роста.
За ICC-Crawler стоит государственный исследовательский институт Японии NICT, а не безымянный скрапер. Разбираем, почему решение allow/deny здесь скорее этическое, чем защитное, и как настроить доступ.
WebArtexBot встречается только в общих сборных списках блокировки без единого описания оператора. Разбираем, что можно извлечь из самого контекста, и как оценить поведение без официальных данных.
Twingly Recon поддерживает noindex прямо в RSS/Atom-фиде — это не то же самое, что мета-тег для Google или Яндекса. Разбираем разницу и когда есть смысл разрешать этот шведский media-краулер.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.