Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем ResearchBot — обобщённый токен, под которым подписываются разные, не связанные друг с другом academic-скрипты. Показываем отличие от реально задокументированного thesis-research-bot, и почему deny по умолчанию — разумная реакция.
Разбираем ChatGLM-Spider — краулер компании Zhipu AI для тренировки моделей ChatGLM. Показываем характерный паттерн активности, привязанный к релизам новых версий модели, и как настроить allow/deny через официально рекомендованное правило robots.txt.
Разбираем Liner Bot (LinerBot) — краулер корейского AI-поисковика Liner, который индексирует контент для ответов с указанием источников. Показываем официальный список IP, как найти бота в access.log и настроить allow/deny.
Разбираем Buttondown (Buttondown RSS-Feed-Parser) — бота сервиса email-рассылок, который опрашивает RSS-ленту сайта для функции RSS-to-email. Показываем, как отличить это от отдельной, не связанной функции блокировки ботов в самом Buttondown, и как настроить allow/deny.
Разбираем SimpleAsyncPageCrawler — редкий случай, когда за токеном не нашлось ни компании, ни продукта, ни упоминания ни в одном каталоге ботов. Объясняем, почему это, вероятно, самописный инструмент, а не публичный сервис, и почему deny по умолчанию оправдан.
Разбираем SilktideBot — краулер платформы веб-governance Silktide (доступность, SEO, качество контента), которую используют компании из Fortune 500. Показываем, почему разовый визит может означать, что кто-то посторонний воспользовался бесплатным публичным сканером, и как найти бота в access.log.
Разбираем Taboolabot — официальный краулер Taboola, который проверяет посадочные страницы рекламодателей на клоакинг перед запуском кампании нативной рекламы. Показываем, почему блокировка может остановить активную рекламу, и как найти бота в access.log.
Разбираем AI2Bot-Dolma — специализированный краулер Allen Institute for AI для датасета Dolma. Объясняем, почему у этого бота структурно нет механизма цитирований в AI-ответах, и почему правило только для AI2Bot не обязательно перекрывает вариант -Dolma.
Разбираем anthropic-ai — исторический токен Anthropic, официально исключённый из документации в феврале 2026 года. Показываем три актуальных краулера (ClaudeBot, Claude-SearchBot, Claude-User) и как правильно управлять видимостью сайта в Claude сегодня.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.