Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
ev-crawler собирает открытые данные о ценах и каталогах для конкурентной разведки клиентов Headline. Смотрим, как он работает, кому это выгодно и почему блокировка иногда даёт вам тактическое преимущество, а не только экономит трафик.
Разбираем, как встраивание ссылки в чужой документ или таблицу превращается в строку googledocs в access.log, и почему это не похоже на типичный автоматический обход.
Разбираемся, почему популярное название бота Project Mariner на деле не совпадает с реальным токеном в трафике, и что из-за этого может незаметно сломаться в правилах блокировки.
Google-PageRenderer подтверждённо принадлежит Google, но исторически связан с рендерингом сниппетов для Google+ — продукта, закрытого много лет назад. Разбираем, откуда трафик и стоит ли вообще его трогать.
У токена br-crawler нет ни подтверждённого владельца, ни документации. Разбираем, как действовать при полном отсутствии данных об операторе и на что смотреть перед тем, как закрыть доступ.
Актуальное имя фетчера Gemini Notebook, его назначение, проверка источника и границы robots.txt и фильтрации по User-Agent. Без предположений о частоте запросов.
Разбор VelenPublicWebCrawler — краулера Velen для сервиса Hunter.io. Кому реально выгодны собранные данные, почему заявление о полном соблюдении robots.txt не стоит принимать на веру и как настроить блокировку.
Как распознать запросы Google-Agent, проверить их по официальным диапазонам и настроить доступ с сохранением авторизации и защиты приложения.
Разбор Generic Crawler (compatible; crawler)) — обобщённого User-Agent, который используют по умолчанию многие HTTP-библиотеки. Почему нельзя строить профиль поведения как для одного бота и как правильно решить allow/deny.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.