Блог TrafficVeil

Статьи и руководства — страница 44

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота scrapy: нежелательный прочие краулеры и сервисы
Боты5 мин

Scrapy: в отличие от urllib, этот фреймворк по умолчанию уважает robots.txt — но это легко отключить

Scrapy — не единый оператор, а профессиональный open-source фреймворк, на котором построены тысячи независимых проектов. Разбираем ключевое отличие от Python-urllib: в стандартном шаблоне нового проекта ROBOTSTXT_OBEY включён по умолчанию, но любой разработчик может отключить его одной строкой, поэтому дефолтный User-Agent сам по себе не гарантирует добросовестности.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота DuckAssistBot: нежелательный прочие краулеры и сервисы
Боты5 мин

DuckAssistBot: официально не для обучения AI — и с криптографической верификацией запросов

DuckAssistBot — отдельный, полностью задокументированный краулер DuckDuckGo для функции AI-ответов DuckAssist, официально не используемый для обучения моделей и независимый от основного поискового DuckDuckBot. Разбираем, как устроена связка запрет/разрешение между обоими ботами, и необычную деталь — поддержку криптографической верификации подписи запросов через Web Bot Auth.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота HanaleiBot: нежелательный прочие краулеры и сервисы
Боты4 мин

HanaleiBot: что говорит о происхождении бота его собственный «тестовый» хвост в User-Agent

У HanaleiBot нет подтверждённого оператора, но есть говорящая деталь: строка runid=beta-stage-integration-test в User-Agent, типичная для внутренних CI/CD-пайплайнов разработки. Разбираем, почему это правдоподобно указывает на чей-то незавершённый staging-краулер, случайно выпущенный на публичный веб, и почему тестовое происхождение не делает трафик безобиднее.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота imageSpider: нежелательный прочие краулеры и сервисы
Боты4 мин

ImageSpider: неизвестный оператор — и не путать с одноимённым классом в открытой Python-библиотеке

Крупнейший реестр AI-ботов честно классифицирует оператора imageSpider как неизвестного. Разбираем отдельную ловушку: в открытой Python-библиотеке advertools есть класс с точно таким же названием, но он использует другой UA по умолчанию и соблюдает robots.txt — так что связывать их напрямую было бы поспешным выводом.

11 авг. 2026 г.Читать
Иллюстрация бота A360-Search: коммерческий SEO-обход
Боты4 мин

A360-Search: краулер британского сервиса данных о недвижимости — не просто «поисковый робот»

A360-Search принадлежит Area360 — независимому браузерному расширению для Rightmove и Zoopla, которое обогащает объявления данными о риске затопления, шуме и истории цен. Разбираем, зачем такому сервису собственный краулер, откуда он берёт данные, которых нет на самих площадках, и когда присутствие бота выгодно сайту, а когда нет.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота ChatGPT Operator: легитимный ai и llm-краулеры
Боты6 мин

ChatGPT Operator: почему это не краулер, а виртуальный пользователь — и почему robots.txt здесь работает слабее

ChatGPT Operator принципиально отличается от GPTBot, OAI-SearchBot и ChatGPT-User: это браузерный AI-агент, выполняющий задачи живого пользователя в реальном времени (заполнение форм, заказы), а не фоновый обходящий краулер. Разбираем, почему стандартная логика "разрешить ради AI-видимости или заблокировать ради экономии трафика" здесь не годится, и почему для чувствительных путей нужен контроль на уровне приложения, а не только robots.txt.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота XY-Archive-Compliance-Archiver: легитимный веб-архивы
Боты5 мин

XY-Archive-Compliance-Archiver: это не Internet Archive, а комплаенс-архив финансовых консультантов

Вопреки общей категоризации «Internet Archive / archiver», этот бот принадлежит XY Planning Network — ассоциации fee-only финансовых консультантов, а не Internet Archive. Разбираем, почему регулируемой отрасли нужен собственный архив публичных заявлений для комплаенса, чем это отличается от общекультурного архивирования, и как это меняет решение о блокировке.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Python urllib: легитимный прочие краулеры и сервисы
Боты5 мин

Python-urllib: это не бот, а настройка по умолчанию целого языка программирования

Строка Python-urllib/x.y — задокументированный дефолтный User-Agent стандартной библиотеки Python, а не имя одного оператора. Разбираем, почему под этим токеном скрывается кто угодно — от внутренних скриптов мониторинга до неприкрытого парсинга, — почему легитимные боты обычно так не выглядят, и как правильно настроить доступ для своих же скриптов.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота SMARTSEO Checker: нежелательный seo и backlink-краулеры
Боты4 мин

SMARTSEO Checker: почему «аудит по запросу» — это не то же самое, что постоянный backlink-краулинг

SMARTSEO Checker заявлен как инструмент, который обходит сайт не по расписанию, а точечно — когда пользователь стороннего сервиса запускает конкретный SEO-аудит. Разбираем, чем это принципиально отличается от постоянного обхода классических backlink-индексаторов вроде AhrefsBot, и как отличить разовый всплеск активности от систематического обхода в собственных логах.

11 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil