Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Vidnami — сервис создания видео из текста — был закрыт в сентябре 2021 года после поглощения GoDaddy, и легитимного оператора за этим именем больше нет. Разбираем историю продукта (Content Samurai → Vidnami → закрытие), почему появление такого UA сегодня стоит трактовать как спуфинг, а не как безобидный AI-краулер, и даём рекомендацию по блокировке без исключений.
Slack-ImgProxy — вторая половина официальной пары ботов Slack для построения превью ссылок: пока Slackbot-LinkExpanding разбирает HTML и метатеги, ImgProxy отдельно забирает и кеширует картинку — скрывая от получателя детали реферера и гарантируя HTTPS. Разбираем официальную логику Slack, зачем нужны два бота вместо одного, и как настроить доступ для обоих сразу.
OutsellURLValidator, вероятно, связан с Outsell — платформой AI-маркетинга для автомобильных дилерских центров, которая проверяет работоспособность ссылок в своих email- и маркетинговых кампаниях перед отправкой клиентам. Разбираем, почему это сервисный бот, привязанный к настройкам конкретного аккаунта, а не массовый скрапер, и когда его стоит разрешать.
anthropic-ai и Claude-Web — деприкейтнутые идентификаторы, официально заменённые тремя раздельными краулерами: ClaudeBot (обучение), Claude-User (запрос по инициативе пользователя в диалоге) и Claude-SearchBot (поиск внутри Claude). Разбираем, зачем Anthropic разделила бота на три, что означает появление старого UA в логах в 2026 году, и как настроить robots.txt под актуальную схему.
redditbot — точечный fetcher Reddit, который забирает Open Graph метаданные для карточки превью, когда кто-то публикует ссылку на сайт в посте или комментарии. Разбираем, как устроен процесс, почему часть выборки может идти через сторонний сервис вроде Embedly, и как настроить доступ через og-теги, robots.txt и nginx.
SiteLock — крупный сервис веб-безопасности (с 2021 года в составе Sectigo), который проверяет сайты на малварь, уязвимости и попадание в чёрные списки. Разбираем разницу между внешним Webpage Scan и внутренним SMART File Scan, почему бот часто появляется автоматически через хостинг-провайдера, и как настроить allow или блокировку.
По Assaybot открытые источники не дают ни официального оператора, ни документации поведения — редкий честный случай "неизвестно". Разбираем, как в такой ситуации оценивать бота по глубине обхода, повторяемости запросов и принадлежности IP вместо репутации бренда, и даём рабочую блокировку через robots.txt и nginx.
msnbot был официально заменён на bingbot ещё в октябре 2010 года — любое современное появление этого UA стоит рассматривать как спуфинг. Разбираем историю бота, метод двойной DNS-проверки, которым Microsoft ещё в 2006 году учила отличать подделку, и почему даже настоящий bingbot до сих пор резолвится в домены search.msn.com.
UptimeBot — бот сервиса Uptime.com, который имитирует обращение к сайту, чтобы DevOps- и SRE-команды узнавали о простоях раньше пользователей. Разбираем, как устроен synthetic monitoring, почему бот обычно использует HEAD вместо GET и как решить, чей это мониторинг — ваш или чужой.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.