Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем, почему токен «Agent» нельзя фильтровать как обычного бота — это подстрока, совпадающая с огромным числом легитимных UA-строк и других ботов. Показываем правильный способ расследовать конкретный всплеск через полные строки UA вместо шаблонного grep и robots.txt правила.
Разбираем Google-Adwords-Instant — токен, отсутствующий в актуальном официальном списке краулеров Google, хотя и ссылающийся на тот же URL, что настоящий AdsBot-Google. Показываем, каким токенам сегодня действительно стоит доверять, и как проверить подлинность по IP.
Разбираем HostTracker — сервис мониторинга доступности с сетью из 300+ точек по миру и официально опубликованным списком IP. Объясняем, почему визиты бота не видны в Google Analytics, но полностью видны в access.log, и как настроить allow/deny.
Разбираем токен AI Dungeon — совпадает с названием известной AI-игры Latitude, но доказательств связи этого трафика с реальной компанией не нашлось. Показываем, почему узнаваемость бренда — не повод доверять боту, как найти его в access.log и настроить deny по умолчанию.
Разбираем ShortPixel — известный сервис сжатия и конвертации изображений в WebP/AVIF, который заходит на сайт по запросу собственного установленного плагина. Показываем, как отличить штатную работу от постороннего трафика, найти бота в access.log и настроить allow/deny.
Разбираем AmazingTest-SearchBot — тестовый вариант семейства Amazing-SearchBot (amazing.com), который не имеет отношения к Amazon. Показываем, как отличить его от созвучного Amzn-SearchBot, найти в access.log и настроить deny по умолчанию.
Разбираем, почему токен Bloglines в access.log сегодня не может принадлежать реальному действующему сервису — компания закрылась в 2010 году. Объясняем правдоподобные причины появления такого UA и почему deny по умолчанию оправдан без взвешивания бизнес-пользы.
Разбираем BlingERP — бразильскую ERP-систему для интернет-торговли, которая синхронизирует товары, заказы и накладные для подключённых магазинов. Показываем, как найти бота в access.log, отличить нужную интеграцию от постороннего трафика и настроить allow/deny.
Разбираем serendeputybot — краулер небольшого независимого проекта Serendeputy, который строит тегированный индекс открытого веба для персонализированных новостных лент. Показываем первоисточник для вебмастеров, как найти бота в access.log и настроить allow/deny.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.