Блог TrafficVeil

Статьи и руководства — страница 42

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Writecream: легитимный ai и llm-краулеры
Боты9 мин

Writecream в логах сайта: что это за бот и нужно ли его блокировать

Writecream — известная AI-платформа для генерации контента, однако назначение HTTP-клиента с User-Agent writecream документировано слабо. Разбираемся, что действительно известно, как проверить источник по IP, ASN и поведению и когда применять Monitor, Rate Limit или Block.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота SMTBot: нежелательный прочие краулеры и сервисы
Боты4 мин

SMTBot: что это за бот SimilarTech и нужно ли его блокировать

Что такое SMTBot от SimilarTech, зачем он анализирует до 200 страниц сайта, какие технологии определяет и как настроить robots.txt, Allow или Block.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота SentiBot: нежелательный прочие краулеры и сервисы
Боты6 мин

SentiBot: почему упоминание Googlebot в его User-Agent — не маскировка, а честное объяснение fallback-логики

SentiBot принадлежит SentiOne — платформе социального прослушивания, ежедневно анализирующей свыше 300 000 доменов, с редким для этой категории уровнем прозрачности (официальная страница sentibot.eu, форма обратной связи). Разбираем, почему фраза «compatible with Googlebot» в строке User-Agent — не попытка выдать себя за поисковика, а честное описание того, что бот следует правилам Googlebot при отсутствии отдельной секции, и почему это создаёт ту же практическую ловушку, что уже разбиралась для Paqlebot.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота FlipboardRSS: легитимный rss и фиды
Боты6 мин

FlipboardRSS: почему стоит знать неоднозначную историю его родственника FlipboardProxy

FlipboardRSS — узкий RSS-фетчер Flipboard, Inc., но у более широкого родственного бота той же компании, FlipboardProxy, есть задокументированная с 2010-2012 годов история игнорирования robots.txt и маскировки облачного трафика AWS под браузер Firefox. Разбираем, почему это повод проверять поведение любого бота под брендом Flipboard по факту в собственных логах, а не полагаться на репутацию только по названию компании.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Instapaper: легитимный прочие краулеры и сервисы
Боты5 мин

Instapaper: та же ниша, что у закрытого Pocket — но с неожиданным вторым назначением

Instapaper — всё ещё действующий сервис «сохрани, чтобы прочитать позже», прямой аналог закрытого Pocket. Разбираем неожиданный поворот: технология извлечения контента бота Instaparser выделена в отдельный коммерческий API-продукт instaparser.com, которым сторонние разработчики пользуются для очистки текста перед подачей в LLM — то есть за одним токеном сегодня могут стоять два разных класса задач.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Feedwind: легитимный rss и фиды
Боты5 мин

Feedwind: если ваш RSS-фид показан в чужом виджете, этот бот держит его актуальным

Feedwind — давний и широко используемый сервис RSS/Atom-виджетов (feed.mikle.com), которым пользуются даже образовательные учреждения вроде SOAS Лондонского университета. Разбираем централизованную модель работы бота — запросы идут с серверов сервиса по факту того, что кто-то настроил виджет с фидом сайта, — и почему это ближе к полезной инфраструктуре синдикации, чем к сбору контента для перепродажи.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота AutomatonHeadlessChrome: нежелательный бот
Боты5 мин

HeadlessChrome: почему это самая известная «дыра» для анти-бот систем — и не имя одного бота

Строка HeadlessChrome — заводская настройка по умолчанию Puppeteer и Playwright, а не имя единого оператора вроде «Automaton». Разбираем, почему это один из самых очевидных сигналов автоматизации для систем защиты вроде Cloudflare Bot Management, какие ещё маркеры выдают headless-запуск, и почему «голая» строка обычно говорит о небрежности автора, а не о продуманной маскировке.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота MojeekBot: легитимный поисковые роботы
Боты5 мин

MojeekBot: краулер полностью независимого британского поиска — не AI-краулер для LLM

MojeekBot строит собственный, полностью независимый поисковый индекс для Mojeek — британской поисковой системы с 2004 года, написанной на уникальном коде без опоры на Google или Bing. Разбираем необычно детальную официальную документацию бота — жёсткий лимит в один запрос в секунду без поддержки crawl-delay, логику выбора секции robots.txt при её отсутствии, и реальный пример двухшаговой DNS-верификации из независимого разбора логов.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Big Sur AI: легитимный прочие краулеры и сервисы
Боты5 мин

Big Sur AI: краулер стартапа с $6,9М инвестиций для AI-ассистированного шопинга

Big Sur AI — конкретный, финансово подтверждённый стартап из Маунтин-Вью (2023 год, инвестиции во главе с Lightspeed Venture Partners), чей AI Sales Agent встраивается в интернет-магазины через Shopify App Store. Разбираем, зачем ассистированному шопинг-боту нужно сканировать каталог клиента, и почему появление этого бота почти всегда означает сознательное подключение сервиса, а не случайный скан.

12 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil