Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
SmarshBot маркируют «нежелательный», хотя это краулер компании Smarsh для архивирования сайта под требования SEC и FINRA. Разбираемся, почему блокировка может создать пробел в обязательной отчётности.
SubstackContentFetch в логах описывают расплывчато, хотя вероятнее — это фетчер превью ссылок для рассылок Substack. Разбираемся, зачем он заходит на сторонние сайты и почему блокировать его не стоит.
SlickWrite в логах совпадает по имени с известным чекером грамматики, но у сервиса нет функции анализа по URL. Разбираемся, почему совпадение названия — не то же самое, что подтверждённая личность.
OpenText AI в логах путают со сборщиком данных для обучения нейросети, хотя вероятнее — компания подключила свою документацию к корпоративной AI-платформе. Разбираемся, почему это не то же самое, что обучающий краулер.
Gaisbot маркировали «нежелательный», хотя это академический краулер университета CCU (Тайвань) с открытым email для владельцев сайтов. Разбираемся, почему это редкий случай прямой прозрачности среди ботов.
Официальный краулер изображений Google: как проверить источник, учесть общий токен GoogleOther и выбрать доступ с учётом контента и нагрузки.
SEO Content Machine маркировали как легитимный AI-краулер, хотя это инструмент скрапинга контента для генерации спам-статей и PBN. Разбираемся, почему здесь редкий случай, когда рекомендация — сразу запретить.
ScriptBook в логах напоминает реальную компанию AI-анализа сценариев, но её бизнес-модель не объясняет обход чужих сайтов. Разбираемся, почему совпадение названия — не то же самое, что подтверждённая личность.
Google официально свернул Structured Data Testing Tool ещё в 2020 году — сегодняшняя проверка разметки идёт под обычным Googlebot. Разбираемся, почему видеть эту строку в свежих логах — повод насторожиться.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.