Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Вопреки шаблонной классификации «рекламный/AdTech-бот, проверяющий чужие посадочные», BomboraBot обходит только страницы с уже установленным тегом самой Bombora — то есть его появление почти всегда означает сознательное партнёрство сайта с Data Cooperative компании. Разбираем, как устроен B2B intent-бизнес Bombora, официальное ограничение частоты обхода раз в 30 дней на URL, и почему для отключения бота эффективнее удалить сам тег, чем полагаться только на блокировку по UA.
BazQux принадлежит платному RSS-ридеру BazQux Reader, который его создатель сам называет «проектом одного человека». Разбираем, почему официальная документация прямо признаёт: фетчер не следует robots.txt, поскольку действует как агент конкретного подписавшегося пользователя, а не автономный краулер — и что оператор честно предлагает делать вместо этого.
В отличие от большинства AdTech-ботов, у AmazonAdBot есть полноценная официальная документация на adbot.amazon.com с обновляемым в реальном времени списком IP. Разбираем официальное назначение бота — brand safety и повышение релевантности рекламы Amazon Ads, — прямое предупреждение компании о влиянии блокировки на рекламный доход, и как не спутать его с совсем другим Amazonbot.
BrandVerity — платформа брендзащиты с 2008 года, чей клиент почти всегда владелец товарного знака, ищущий несанкционированное использование своего бренда в чужой рекламе. Разбираем, почему это переворачивает шаблонную классификацию «нежелательный AdTech-бот» — цель краулера обычно противоположна продвижению чужой рекламы, — и что означает, если посадочная страница вашего сайта попала в поле его проверки.
В отличие от ботов с уникальными именами вроде Adagiobot, Automaton называется обычным английским словом «автомат», широко используемым в IT для описания любых инструментов автоматизации — это делает поиск оператора по имени практически бесполезным. Разбираем, почему в таком случае единственный практичный путь — реконструкция контекста на стороне самого сайта, а не попытка угадать бренд по названию.
Точного подтверждённого оператора для NeuralSEO не нашлось — само название указывает на широкую и быстро растущую категорию AI-инструментов SEO-анализа, куда обход инициируется вручную по конкретному запросу. Разбираем, почему это ближе к разовой проверке, чем к системному сбору данных для обучения чужой модели, и как проверить эту гипотезу по паттерну в собственных логах.
OdklBot принадлежит Одноклассникам (200+ млн пользователей, холдинг VK) и строит карточки превью ссылок по факту публикации, как facebookexternalhit у Facebook. Разбираем официальную методику верификации ОК (IP + UA вместе), отличие от родственного OdklApiBot для платежей, и почему нельзя банить «весь VK/OK» одним широким правилом.
У Яндекса не два-три специализированных бота, а целых 36 задокументированных краулеров — YandexAccessibilityBot среди них отвечает за оценку доступности сайта для людей с ограниченными возможностями. Разбираем, что именно проверяет бот, чем он отличается от соседних YandexAdNet и YandexAdditional, и почему для него, как и для YandexFavicons, не работает правило User-agent: *.
ClearScope — известная B2B-платформа контент-оптимизации, анализирующая топ-выдачу по ключевым словам для рекомендаций авторам. Разбираем, зачем такому продукту нужен обход конкурентных страниц, новую функцию мониторинга цитирований в ChatGPT и Gemini, и почему у Enterprise-клиентов есть официальная опция внесения краулера в allowlist.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.