Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем NodePing — платформу мониторинга доступности с публичным и регулярно обновляемым списком IP проверочных серверов. Показываем, как отличить свой мониторинг от чужого, найти бота в access.log и настроить allow/deny через robots.txt, nginx или TrafficVeil.
Разбираем BufferLinkPreviewBot — фетчер платформы Buffer, который подтягивает превью вашей ссылки, когда кто-то делится ею через сервис. Показываем официальную документацию бота, как найти его в access.log и почему блокировка обычно вредит больше, чем помогает.
Разбираем admantx (ADmantX) — технологию NLP-анализа контента для контекстной рекламы и brand safety, которая теперь принадлежит Integral Ad Science. Показываем задокументированный случай спуфинга под похожим именем, как найти бота в access.log и настроить allow/deny.
Разбираем ScourRSSBot — краулер персонализированной RSS-читалки Scour, который запускается только по инициативе конкретного подписчика, а не сканирует сайты сам. Показываем, как найти бота в access.log, проверить его по официальному списку IP и настроить allow/deny.
Разбираем Automattic Feed Fetcher — бота WordPress.com Reader, который синхронизирует ленту сайта с подписной базой и растущим кругом сторонних читалок. Показываем, почему нельзя полагаться только на robots.txt, как найти бота в access.log и настроить allow/deny.
Разбираем ShapBot — краулер компании Parallel, который индексирует сайты для их поисковых и extraction web API. Показываем разницу с Shap-User, официальный список IP, как найти бота в access.log и настроить allow/deny.
Разбираем NewsBot — размытый, немонопольный токен, под которым в логах могут скрываться разные новостные краулеры и агрегаторы. Объясняем, почему Googlebot-News давно не существует как отдельный запрос, и как принимать решение allow/deny по конкретному UA и IP, а не по одной метке.
Разбираем SERankingBot и SERankingBacklinksBot — краулеров платформы SE Ranking, которые запускаются пользователями сервиса для аудита сайтов и поиска обратных ссылок. Показываем, как найти ботов в access.log, проверить подлинность и настроить allow/deny.
Разбираем Catchpoint — корпоративную платформу synthetic-мониторинга с сетью в сотни точек присутствия. Показываем, чем она отличается от бесплатных uptime-чекеров, как найти бота в access.log и настроить allow/deny через robots.txt, nginx или TrafficVeil.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.