Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
По официальной документации оператора, llmstxtscan не собирает статьи или товары для AI-пайплайна — он лишь проверяет наличие нескольких служебных файлов вроде /llms.txt и /AGENTS.md как часть исследования распространённости новых веб-стандартов. Разбираем, что такое сам стандарт llms.txt, почему риск «утечки контента» здесь неприменим, и почему у бота есть редкий официальный e-mail для быстрого opt-out прямо в строке User-Agent.
Amazing-SearchBot принадлежит Amazing.com — образовательной и софтверной компании из Остина для продавцов на Amazon (программа Amazing Selling Machine, инструмент Amazing Intelligence), и не имеет никакого отношения к самому Amazon и его боту Amzn-SearchBot. Разбираем вероятное назначение краулера, почему у него более низкий рейтинг доверия в независимых каталогах ботов, и как составить regex-правило, не задев по ошибке совсем другого бота.
scoopit-crawler принадлежит Scoop.it — публичной платформе контент-курации из Сан-Франциско с 75+ миллионами посетителей к 2013 году, чей движок обходит свыше 40 млн страниц в день. Разбираем разницу между автоматическим обходом и запросами по прямому действию пользователя, реальные риски дублированного контента и когда присутствие в курации может быть источником трафика, а не просто фоновой
За laion-huggingface-processor стоит некоммерческая организация LAION, создатель открытого датасета LAION-5B, на котором обучались известные генераторы изображений. Разбираем, чем сбор изображений и метаданных для открытого исследовательского датасета отличается от типичного коммерческого AI-скрапинга — и почему для владельца сайта разница в итоге невелика.
По официальной документации Klaviyo, KlaviyoAIBot обходит только домены, которые владелец аккаунта сам явно подключил для работы AI-функции Kai Customer Agent — не сканирует сайты по своей инициативе и не обходит paywall или авторизацию. Разбираем, почему это отличает бота от типичных обучающих AI-краулеров, и почему шаблонная классификация «нежелательный» здесь не подходит без выяснения контекста.
AddSearchBot принадлежит хельсинкской компании AddSearch (с 2013 года) и индексирует сайт исключительно для встроенного site search — не для Google. Разбираем официальную документацию, публичный список IP, поддержку PDF/DOCX/PPTX и реальный кейс, когда даже верифицированный бот временно перестал распознаваться Cloudflare из-за смены URL документации.
По FAB-Scraper, как и по Assaybot ранее, открытые источники не дают ни оператора, ни документации — но у этого бота есть дополнительная зацепка: архитектура обхода по списку заданий из очереди, а не самостоятельный переход по ссылкам сайта. Разбираем, что выдаёт такую архитектуру в логах, как отличить регулярный мониторинг от разовых выгрузок по волнообразности визитов, и даём рабочую блокировку.
Эти два бота Google относятся к особой категории special-case crawlers, которая официально игнорирует общий User-agent: * в robots.txt — для блокировки нужны отдельные явные группы правил на каждый токен. Разбираем разделение обязанностей между Mediapartners-Google и Google-Display-Ads-Bot, официальную логику Google по этому исключению, и как не сломать контекстную рекламу случайной блокировкой.
uptimedoctor — бот сингапурского сервиса Uptime Doctor (основан в 2013 году), отдельного и самостоятельного от разобранного ранее UptimeBot/Uptime.com. Разбираем его щедрый бесплатный тариф с минутными проверками, требования пользовательского соглашения к владению доменом и когда стоит блокировать, а когда — просто ограничить частоту.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.