Блог TrafficVeil

Статьи и руководства — страница 48

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Vidnami AI: легитимный ai и llm-краулеры
Боты4 мин

Vidnami AI: почему трафик от давно закрытого сервиса в логах 2026 года — тревожный сигнал, а не легитимный краулер

Vidnami — сервис создания видео из текста — был закрыт в сентябре 2021 года после поглощения GoDaddy, и легитимного оператора за этим именем больше нет. Разбираем историю продукта (Content Samurai → Vidnami → закрытие), почему появление такого UA сегодня стоит трактовать как спуфинг, а не как безобидный AI-краулер, и даём рекомендацию по блокировке без исключений.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Slack-ImgProxy: легитимный прочие краулеры и сервисы
Боты4 мин

Slack-ImgProxy: зачем Slack прячет изображения за отдельным прокси-ботом

Slack-ImgProxy — вторая половина официальной пары ботов Slack для построения превью ссылок: пока Slackbot-LinkExpanding разбирает HTML и метатеги, ImgProxy отдельно забирает и кеширует картинку — скрывая от получателя детали реферера и гарантируя HTTPS. Разбираем официальную логику Slack, зачем нужны два бота вместо одного, и как настроить доступ для обоих сразу.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота OutsellURLValidator: легитимный прочие краулеры и сервисы
Боты4 мин

OutsellURLValidator: сервисный бот AI-платформы для автодилеров — зачем он проверяет ваши ссылки

OutsellURLValidator, вероятно, связан с Outsell — платформой AI-маркетинга для автомобильных дилерских центров, которая проверяет работоспособность ссылок в своих email- и маркетинговых кампаниях перед отправкой клиентам. Разбираем, почему это сервисный бот, привязанный к настройкам конкретного аккаунта, а не массовый скрапер, и когда его стоит разрешать.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота AnthropicAI: легитимный ai и llm-краулеры
Боты5 мин

Anthropic-ai: устаревший токен Claude — почему сегодня нужны три отдельных правила вместо одного

anthropic-ai и Claude-Web — деприкейтнутые идентификаторы, официально заменённые тремя раздельными краулерами: ClaudeBot (обучение), Claude-User (запрос по инициативе пользователя в диалоге) и Claude-SearchBot (поиск внутри Claude). Разбираем, зачем Anthropic разделила бота на три, что означает появление старого UA в логах в 2026 году, и как настроить robots.txt под актуальную схему.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота redditbot: легитимный прочие краулеры и сервисы
Боты4 мин

Redditbot: как craulер Reddit строит превью ссылок и почему стоит проверить og-теги

redditbot — точечный fetcher Reddit, который забирает Open Graph метаданные для карточки превью, когда кто-то публикует ссылку на сайт в посте или комментарии. Разбираем, как устроен процесс, почему часть выборки может идти через сторонний сервис вроде Embedly, и как настроить доступ через og-теги, robots.txt и nginx.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота SiteLock: легитимный прочие краулеры и сервисы
Боты4 мин

SiteLock: сканер безопасности от Sectigo — почему бот может появиться даже без вашей подписки

SiteLock — крупный сервис веб-безопасности (с 2021 года в составе Sectigo), который проверяет сайты на малварь, уязвимости и попадание в чёрные списки. Разбираем разницу между внешним Webpage Scan и внутренним SMART File Scan, почему бот часто появляется автоматически через хостинг-провайдера, и как настроить allow или блокировку.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Assaybot: нежелательный прочие краулеры и сервисы
Боты4 мин

Assaybot: краулер без раскрытого оператора — как оценивать бота по поведению, а не по имени

По Assaybot открытые источники не дают ни официального оператора, ни документации поведения — редкий честный случай "неизвестно". Разбираем, как в такой ситуации оценивать бота по глубине обхода, повторяемости запросов и принадлежности IP вместо репутации бренда, и даём рабочую блокировку через robots.txt и nginx.

11 авг. 2026 г.Читать
Боты4 мин

Msnbot: почему устаревший краулер Microsoft в логах 2026 года — почти всегда подделка

msnbot был официально заменён на bingbot ещё в октябре 2010 года — любое современное появление этого UA стоит рассматривать как спуфинг. Разбираем историю бота, метод двойной DNS-проверки, которым Microsoft ещё в 2006 году учила отличать подделку, и почему даже настоящий bingbot до сих пор резолвится в домены search.msn.com.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота UptimeBot: легитимный мониторинг доступности
Боты4 мин

UptimeBot: краулер сервиса Uptime.com для synthetic monitoring — стоит ли блокировать

UptimeBot — бот сервиса Uptime.com, который имитирует обращение к сайту, чтобы DevOps- и SRE-команды узнавали о простоях раньше пользователей. Разбираем, как устроен synthetic monitoring, почему бот обычно использует HEAD вместо GET и как решить, чей это мониторинг — ваш или чужой.

11 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil