Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
FastmailUA — не обход сайта в общем смысле, а синхронизация ICS/CalDAV-календарей по подписке чьего-то Fastmail-аккаунта. Разбираем, кто на самом деле инициирует визит и как отличать его в логах.
Официальная документация Perplexity утверждает, что PerplexityBot уважает robots.txt. Разбираем задокументированный случай, когда краулер маскировался под обычный браузер, чтобы обойти запрет, и что с этим делать.
StormIntelCrawler — не единственный бот со словом Storm в имени. Разбираем, как минимум три несвязанные сущности прячутся за похожими названиями, и почему регулярка-wildcard здесь опасна.
Applebot — краулер Apple, а Applebot-Extended — токен управления использованием данных. Документированные способы проверки запросов и отдельные политики поиска и обучения.
У поисковой системы Kagi есть два разных бота — основной краулер Kagibot и менее документированный kagi-fetcher, срабатывающий по живым запросам через Kagi AI. Разбираем разницу и как настроить каждого отдельно.
Meta-ExternalAgent собирает веб-контент для задач, включающих обучение базовых AI-моделей и улучшение продуктов Meta. Его следует отличать от превью ссылок и пользовательских загрузок.
Разбираем, что на самом деле означает UA mailchimp в access.log — систему антифишинговой проверки Omnivore, которая срабатывает, когда кто угодно в мире вставил ссылку на ваш сайт в свою email-кампанию.
Разбираем coccocbot-web — краулер вьетнамского поисковика и браузера Cốc Cốc. Официальный пример robots.txt, поддержка crawl-delay как альтернатива полной блокировке и когда видимость там реально ценна.
SpiderLing — открытое академическое ПО для сбора лингвистических корпусов, а не сервис одной компании. Разбираем, почему под одним UA могут скрываться разные исследовательские группы, и как это влияет на верификацию.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.