Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем Google-AdWords-Express — токен, отсутствующий в актуальном официальном списке краулеров Google. Показываем, какие токены (AdsBot-Google, AdsBot-Google-Mobile) реально отвечают за проверку рекламы сегодня, как проверить подлинность по IP и настроить robots.txt.
Что можно заключить по заявленной строке AI Article Writer, когда оператор не подтверждён. Проверка собственных интеграций, ограничение запросов и границы robots.txt.
Разбираем Authory — сервис автоматического архивирования публикаций для журналистов и блогеров. Показываем, почему присутствие бота обычно означает, что кто-то из ваших авторов архивирует свои материалы, как найти его в access.log и настроить allow/deny.
Разбираем LinkWalker — исторический краулер для построения карты ссылок в вебе, который сегодня связан с индустрией защиты бренда (BrandProtect), а не с превью ссылок в соцсетях. Показываем, почему стандартная логика «сломаются карточки шеринга» здесь не работает, и как найти бота в access.log.
Разбираем Feedly — RSS-агрегатор, который по собственному официальному заявлению не соблюдает robots.txt, потому что действует как агент конкретного подписчика. Показываем, как читать число подписчиков прямо из UA, и единственный рабочий способ блокировки, который рекомендует сама компания.
Разбираем Nicecrawler — краулер с недокументированным оператором и назначением, который рендерит страницы через Chrome-based headless-браузер. Объясняем, почему за один визит появляется кластер запросов, как найти бота в access.log и почему deny — разумный default.
Разбираем Blogtrottr — сервис доставки RSS-обновлений на email, который уважает TTL из вашей же ленты для регулирования частоты опроса. Показываем, как найти бота в access.log, настроить интервал через фид вместо блокировки и решить allow/deny.
Разбираем SFDC-Callout — стандартный User-Agent исходящих запросов из Salesforce, который может принадлежать вашей собственной CRM-интеграции или чужой, никак не связанной с вами организации. Показываем, почему IP и robots.txt здесь малополезны, как найти запросы в access.log и не сломать чужую интеграцию при блокировке.
Разбираем KargoBot (KargoBot-Artemis-Mobile) — бота верификации контента компании Kargo, который маскируется под мобильный Safari и поэтому легко проходит мимо обычных фильтров. Показываем, как найти его в access.log, настроить robots.txt и allow/deny через TrafficVeil.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.