Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Строка Java/версия — заводская настройка сетевого стека JDK, добавляемая на низком уровне платформы, а не выбор конкретного бренда. Разбираем реальный задокументированный случай, когда разработчики облачного SDK не смогли полностью убрать этот след даже пытаясь заменить User-Agent, и почему такая строка чаще выдаёт корпоративные интеграции, чем целенаправленный скрапинг.
Scrapy — не единый оператор, а профессиональный open-source фреймворк, на котором построены тысячи независимых проектов. Разбираем ключевое отличие от Python-urllib: в стандартном шаблоне нового проекта ROBOTSTXT_OBEY включён по умолчанию, но любой разработчик может отключить его одной строкой, поэтому дефолтный User-Agent сам по себе не гарантирует добросовестности.
DuckAssistBot — отдельный, полностью задокументированный краулер DuckDuckGo для функции AI-ответов DuckAssist, официально не используемый для обучения моделей и независимый от основного поискового DuckDuckBot. Разбираем, как устроена связка запрет/разрешение между обоими ботами, и необычную деталь — поддержку криптографической верификации подписи запросов через Web Bot Auth.
У HanaleiBot нет подтверждённого оператора, но есть говорящая деталь: строка runid=beta-stage-integration-test в User-Agent, типичная для внутренних CI/CD-пайплайнов разработки. Разбираем, почему это правдоподобно указывает на чей-то незавершённый staging-краулер, случайно выпущенный на публичный веб, и почему тестовое происхождение не делает трафик безобиднее.
Крупнейший реестр AI-ботов честно классифицирует оператора imageSpider как неизвестного. Разбираем отдельную ловушку: в открытой Python-библиотеке advertools есть класс с точно таким же названием, но он использует другой UA по умолчанию и соблюдает robots.txt — так что связывать их напрямую было бы поспешным выводом.

A360-Search принадлежит Area360 — независимому браузерному расширению для Rightmove и Zoopla, которое обогащает объявления данными о риске затопления, шуме и истории цен. Разбираем, зачем такому сервису собственный краулер, откуда он берёт данные, которых нет на самих площадках, и когда присутствие бота выгодно сайту, а когда нет.
ChatGPT Operator принципиально отличается от GPTBot, OAI-SearchBot и ChatGPT-User: это браузерный AI-агент, выполняющий задачи живого пользователя в реальном времени (заполнение форм, заказы), а не фоновый обходящий краулер. Разбираем, почему стандартная логика "разрешить ради AI-видимости или заблокировать ради экономии трафика" здесь не годится, и почему для чувствительных путей нужен контроль на уровне приложения, а не только robots.txt.
Вопреки общей категоризации «Internet Archive / archiver», этот бот принадлежит XY Planning Network — ассоциации fee-only финансовых консультантов, а не Internet Archive. Разбираем, почему регулируемой отрасли нужен собственный архив публичных заявлений для комплаенса, чем это отличается от общекультурного архивирования, и как это меняет решение о блокировке.
Строка Python-urllib/x.y — задокументированный дефолтный User-Agent стандартной библиотеки Python, а не имя одного оператора. Разбираем, почему под этим токеном скрывается кто угодно — от внутренних скриптов мониторинга до неприкрытого парсинга, — почему легитимные боты обычно так не выглядят, и как правильно настроить доступ для своих же скриптов.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.