Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Writecream — известная AI-платформа для генерации контента, однако назначение HTTP-клиента с User-Agent writecream документировано слабо. Разбираемся, что действительно известно, как проверить источник по IP, ASN и поведению и когда применять Monitor, Rate Limit или Block.
Что такое SMTBot от SimilarTech, зачем он анализирует до 200 страниц сайта, какие технологии определяет и как настроить robots.txt, Allow или Block.
SentiBot принадлежит SentiOne — платформе социального прослушивания, ежедневно анализирующей свыше 300 000 доменов, с редким для этой категории уровнем прозрачности (официальная страница sentibot.eu, форма обратной связи). Разбираем, почему фраза «compatible with Googlebot» в строке User-Agent — не попытка выдать себя за поисковика, а честное описание того, что бот следует правилам Googlebot при отсутствии отдельной секции, и почему это создаёт ту же практическую ловушку, что уже разбиралась для Paqlebot.
FlipboardRSS — узкий RSS-фетчер Flipboard, Inc., но у более широкого родственного бота той же компании, FlipboardProxy, есть задокументированная с 2010-2012 годов история игнорирования robots.txt и маскировки облачного трафика AWS под браузер Firefox. Разбираем, почему это повод проверять поведение любого бота под брендом Flipboard по факту в собственных логах, а не полагаться на репутацию только по названию компании.
Instapaper — всё ещё действующий сервис «сохрани, чтобы прочитать позже», прямой аналог закрытого Pocket. Разбираем неожиданный поворот: технология извлечения контента бота Instaparser выделена в отдельный коммерческий API-продукт instaparser.com, которым сторонние разработчики пользуются для очистки текста перед подачей в LLM — то есть за одним токеном сегодня могут стоять два разных класса задач.
Feedwind — давний и широко используемый сервис RSS/Atom-виджетов (feed.mikle.com), которым пользуются даже образовательные учреждения вроде SOAS Лондонского университета. Разбираем централизованную модель работы бота — запросы идут с серверов сервиса по факту того, что кто-то настроил виджет с фидом сайта, — и почему это ближе к полезной инфраструктуре синдикации, чем к сбору контента для перепродажи.
Строка HeadlessChrome — заводская настройка по умолчанию Puppeteer и Playwright, а не имя единого оператора вроде «Automaton». Разбираем, почему это один из самых очевидных сигналов автоматизации для систем защиты вроде Cloudflare Bot Management, какие ещё маркеры выдают headless-запуск, и почему «голая» строка обычно говорит о небрежности автора, а не о продуманной маскировке.
MojeekBot строит собственный, полностью независимый поисковый индекс для Mojeek — британской поисковой системы с 2004 года, написанной на уникальном коде без опоры на Google или Bing. Разбираем необычно детальную официальную документацию бота — жёсткий лимит в один запрос в секунду без поддержки crawl-delay, логику выбора секции robots.txt при её отсутствии, и реальный пример двухшаговой DNS-верификации из независимого разбора логов.
Big Sur AI — конкретный, финансово подтверждённый стартап из Маунтин-Вью (2023 год, инвестиции во главе с Lightspeed Venture Partners), чей AI Sales Agent встраивается в интернет-магазины через Shopify App Store. Разбираем, зачем ассистированному шопинг-боту нужно сканировать каталог клиента, и почему появление этого бота почти всегда означает сознательное подключение сервиса, а не случайный скан.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.