Блог TrafficVeil

Статьи и руководства — страница 42

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Rytr: легитимный ai и llm-краулеры
Боты5 мин

Rytr: 8 миллионов пользователей AI-копирайтера — и вероятная связь с плагиат-чекером, а не обучением моделей

Rytr — массовый AI-инструмент для копирайтинга с 2021 года и свыше 8 миллионов пользователей. Разбираем, почему встроенная функция проверки на плагиат (на основе Copyscape) — самое правдоподобное объяснение обращений бота к сторонним сайтам, и чем это принципиально отличается от системного сбора данных для обучения языковой модели.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Page Analyzer AI: легитимный ai и llm-краулеры
Боты4 мин

Page Analyzer AI: один из десятков похожих инструментов разового аудита страниц — не системный AI-краулер

Точного подтверждённого оператора для токена page analyzer ai не нашлось, но само название указывает на широкую категорию бесплатных SEO/контент-анализаторов, куда обход инициируется вручную пользователем через веб-форму. Разбираем, почему это ближе к разовому инструменту анализа по запросу, чем к системному сбору данных для чужого AI-продукта, и как проверить эту гипотезу по паттерну в собственных логах.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота FeedBurner: легитимный rss и фиды
Боты5 мин

FeedBurner: формально живой продукт Google, который сама компания советует покинуть

FeedBurner — не безымянный сервис, а один из старейших продуктов Google (с 2007 года), чьи ключевые функции последовательно отключались в 2012 и 2022 годах. Разбираем историю растянутого на полтора десятилетия угасания сервиса и почему присутствие его краулера в логах в 2026 году — обычно сигнал технического долга, а не активно поддерживаемой интеграции.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Perplexity User: нежелательный ai и llm-краулеры
Боты5 мин

Perplexity-User: официально не для обучения моделей — и официально может игнорировать robots.txt

Вопреки шаблонному описанию как «краулера для обучающих датасетов», Perplexity официально заявляет: компания не строит базовые модели, и Perplexity-User — не PerplexityBot, а совсем другой агент, срабатывающий в реальном времени по запросу живого пользователя. Разбираем ключевое официальное признание компании — этот агент, как правило, не соблюдает robots.txt, — и почему для чувствительных разделов сайта нужен настоящий контроль доступа, а не файл политики.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота PocketParser: легитимный прочие краулеры и сервисы
Боты5 мин

PocketParser: раньше — образцово задокументированный бот, сегодня — оператор, которого больше не существует

В отличие от по-настоящему анонимных ботов, PocketParser когда-то был полностью официально задокументирован — фетчер превью для сервиса Pocket (Read It Later, Inc. → Mozilla). Но сам Pocket закрыт, а данные пользователей безвозвратно удалены в ноябре 2025 года. Разбираем, почему появление этого UA сегодня требует не «мониторинга до выяснения оператора», а прямо противоположного вывода — легитимного адресата у этого трафика больше нет.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота SleepBot: нежелательный прочие краулеры и сервисы
Боты5 мин

SleepBot: бот, чья загадка заинтересовала даже Hacker News — сайт в UA не обновлялся с 2008 года

Ссылка в User-Agent SleepBot ведёт на сайт, не обновлявшийся с января 2008 года — заброшенную страницу частного лица с работающим интернет-радио, что заставило сообщество Hacker News всерьёз обсуждать, не ARG ли это. Разбираем это необычное расследование, противоречивые сообщения о поведении бота (от полного бездействия до агрессивного сканирования вопреки заявленному соблюдению правил), и почему загадочность не равна безобидности.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Content Samurai: легитимный ai и llm-краулеры
Боты4 мин

Content Samurai: ещё более старое имя того же закрытого сервиса, что и Vidnami AI

Content Samurai — исходное название сервиса, который в 2020 году переименовали в Vidnami, а в сентябре 2021-го окончательно закрыли после поглощения GoDaddy. Разбираем, почему появление именно этого, более раннего бренда в логах 2026 года говорит об ещё более устаревшем источнике спуфинга, и почему оба исторических имени стоит блокировать одним правилом

11 авг. 2026 г.Читать
Уникальная иллюстрация бота WellKnownBot: легитимный прочие краулеры и сервисы
Боты4 мин

WellKnownBot: сам оператор настаивает, что это не краулер — и это меняет правила игры для robots.txt

По официальному описанию проекта well-known.dev, WellKnownBot — не веб-краулер, а узкоспециализированный инструмент, сканирующий лишь несколько конкретных публичных well-known-файлов. Разбираем, почему именно эта классификация выводит бота из-под действия общих правил User-agent: * в robots.txt, и почему для большинства сайтов разрешение безвредно — сканируются файлы, изначально открытые для программного доступа.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Blackboard: нежелательный прочие краулеры и сервисы
Боты5 мин

Blackboard: скорее всего, краулер антиплагиат-системы SafeAssign — и что об этом говорит история с GitHub в User-Agent

За именем Blackboard, вероятно, стоит крупный разработчик LMS для высшего образования, а конкретный краулер связан с модулем проверки на плагиат SafeAssign. Разбираем реальный задокументированный эпизод, когда упоминание GitHub в строке User-Agent само по себе провоцировало блокировку легитимного бота, и свежую позицию Blackboard по проблеме AI-агентов, неотличимых от студентов.

11 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil