Блог TrafficVeil

Статьи и руководства — страница 24

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Archive-It: легитимный веб-архивы
Боты7 мин

Archive-It: ищите archive.org_bot, а не archive-it

По официальной документации поддержки Archive-It реальный токен краулера — archive.org_bot, а не буквальное «archive-it» из черновика, и от этого зависит, увидите ли вы вообще этот трафик в логах. Разбираемся, чем клиентский сервис Archive-It отличается от общего краулинга Wayback Machine, почему одно только правило в robots.txt не гарантирует исключение из архива, и что делать, если контент критично важно оттуда убрать.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота Content King: легитимный ai и llm-краулеры
Боты6 мин

Content King: SEO-мониторинг, а не AI-краулер

Content King — это ContentKing (часть Conductor), известная платформа непрерывного SEO-мониторинга, а не сборщик данных для AI-моделей, и появление бота в логах почти всегда означает вашу же подключённую систему отслеживания сайта. Разбираемся, почему почти постоянное присутствие в логах здесь — ожидаемое поведение, а не тревожный сигнал, и откуда взялась ошибка с категорией AI-краулера.

21 авг. 2026 г.Читать
Боты7 мин

FirecrawlAgent: известный инструмент для AI-обучения и агентов

FirecrawlAgent принадлежит не безымянному оператору, а известному dev-tool сервису Firecrawl, который прямо позиционирует себя в том числе как инструмент для подготовки обучающих датасетов языковых моделей. Разбираемся, почему полный рендеринг JavaScript в реальном браузере делает нагрузку от этого краулера тяжелее типичного HTTP-бота, и почему риск утечки контента здесь обоснован сильнее, чем у многих других записей в этой же категории.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота Manus-User: нежелательный прочие краулеры и сервисы
Боты7 мин

Manus-User: AI-агент человека, а не нежелательный краулер

Manus-User — это не безымянный сборщик данных, а идентификатор автономного AI-агента компании Butterfly Effect, который заходит на сайты по прямому поручению конкретного человека, а не для системного обхода. Разбираемся, почему блокировка такого трафика по умолчанию вредит реальным пользователям, а не защищает сайт, и почему запись, вероятно, попала не в ту категорию базы.

21 авг. 2026 г.Читать
Боты6 мин

Java HTTPClient: библиотека Apache, а не единый бот

За токеном apache-httpclient в access.log может стоять что угодно — от банковской B2B-интеграции до чужого скрейпера, потому что это открытая Java-библиотека без единого оператора. Разбираемся, что на самом деле означает версия Java в строке UA, почему в старых логах эта версия могла вводить в заблуждение, и как не заблокировать случайно свою же корпоративную интеграцию.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота BlogVault: легитимный прочие краулеры и сервисы
Боты6 мин

BlogVault: скорее всего, ваша система резервного копирования

BlogVault — реальный сервис резервного копирования WordPress, который сайт подключает сознательно, а не сторонний краулер, и официальная верификация здесь строится на связке User-Agent и обратного DNS. Разбираемся, почему первый шаг при появлении этого бота в логах — не техническая блокировка, а простой вопрос о том, чей это аккаунт, и что делать, если подключение осталось от прежнего подрядчика.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота page-preview-tool: легитимный превью ссылок в соцсетях
Боты6 мин

Page-preview-tool: превью-бот без подтверждённого имени

В отличие от Facebook External Hit или LMArenaUnfurlBot, которые честно называют себя в User-Agent, за родовым «page-preview-tool» не стоит ни один известный оператор — это третий подобный случай, который мы разбираем в этой энциклопедии. Разбираемся, почему отсутствие бренда в названии — само по себе значимый сигнал, и почему категория «легитимный» здесь не подкреплена фактами.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота LMArenaUnfurlBot: легитимный превью ссылок в соцсетях
Боты6 мин

LMArenaUnfurlBot: превью-бот известной AI-арены

LMArenaUnfurlBot принадлежит не безымянному оператору, а LMArena — авторитетной платформе для сравнения AI-моделей, с которой сотрудничают OpenAI, Google DeepMind и Anthropic. Разбираемся, как устроен этот fetcher превью-ссылок, почему для сайтов в AI-тематике присутствие в его экосистеме может быть реальным плюсом, и когда стандартная рекомендация allow вполне обоснована.

21 авг. 2026 г.Читать
Боты7 мин

LeakIX Scanner: диагностический сигнал, а не угроза

LeakIX — реальная бельгийская security-компания с редким для этой категории уровнем прозрачности: каждая сканирующая машина криптографически проверяема через собственный поддомен и публичный PGP-ключ. Разбираемся, почему правильная реакция на находки этого сканера — чинить обнаруженное, а не воевать с ботом, и почему robots.txt здесь работает лишь частично, поскольку сканирование идёт не только по HTTP.

21 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil