Блог TrafficVeil

Статьи и руководства — страница 58

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота WebTrackrCrawler: нежелательный прочие краулеры и сервисы
Боты4 мин

WebTrackrCrawler ищет не данные, а вашу партнёрскую сеть

Affsignal прямо заявляет: сервис создан, чтобы находить партнёров, продвигающих конкурентов. Разбираем, кому реально видна структура ваших партнёрских ссылок после визита этого краулера.

10 авг. 2026 г.Читать
Иллюстрация бота 360Spider: сканер страниц и ссылок
Боты5 мин

360Spider: антивирусная компания, ставшая вторым поисковиком Китая

Qihoo 360 начинала с антивирусов, а сегодня 360Spider — один из самых дисциплинированных краулеров в своей категории. Разбираем, почему официальной reverse DNS верификации у него нет, и как настроить доступ.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота ApifyBot: нежелательный прочие краулеры и сервисы
Боты5 мин

ApifyBot: один бренд, тысячи разных задач за ним

За ApifyBot стоит известная платформа автоматизации, а не анонимный оператор — но конкретная цель визита каждый раз может быть другой, потому что на платформе работают тысячи разных клиентов. Разбираем отличие от ApifyWebsiteContentCrawler.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Crawl4AI: нежелательный ai и llm-краулеры
Боты6 мин

Crawl4AI — не оператор, а библиотека, которой пользуются все подряд

У этого токена нет единого владельца: Crawl4AI — открытая Python-библиотека с 9+ млн скачиваний, и robots.txt здесь соблюдается только если конкретный разработчик сам включил эту настройку. Разбираем, почему нельзя искать «политику оператора» там, где оператора нет.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота StartmeBot: нежелательный прочие краулеры и сервисы
Боты4 мин

StartmeBot: когда robots.txt бессилен, есть запасной вариант

StartmeBot официально не проверяет robots.txt вообще — но у start.me есть альтернативный канал контроля через прямой email-контакт. Разбираем, зачем боту favicon и RSS вашего сайта.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Google Extended: нежелательный прочие краулеры и сервисы
Боты5 мин

Google-Extended и AI-поиск: разные настройки использования контента

Что контролирует токен Google-Extended, почему у него нет отдельного HTTP-UA и чем он отличается от Search generative AI control и правил превью в Google Search.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота StatusCake: легитимный мониторинг доступности
Боты6 мин

StatusCake маскируется под браузер — и это не спуфинг, а норма

В отличие от лёгких uptime-пингов, StatusCake умеет полноценно рендерить страницу как настоящий браузер. Разбираем противоречивые данные о соблюдении robots.txt и почему антибот-защита может ложно его блокировать.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота PetalBot: нежелательный поисковые роботы
Боты7 мин

PetalBot и PanguBot — не путайте поиск Huawei с обучением их ИИ

У Huawei два разных краулера: PetalBot для поиска Petal Search и совершенно отдельный PanguBot для обучения их LLM. Разбираем это разграничение и почему PetalBot особенно значим для рынков MENA и Африки.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Exabot: нежелательный прочие краулеры и сервисы
Боты5 мин

Exabot стал «неопознанным» не потому, что исчез оператор

Классический краулер Exalead теперь числится в некоторых каталогах как uncategorized — но причина не в анонимности, а в том, что французский поисковик свернул публичный обход после ухода в enterprise. Разбираем, как не спутать его с ExaBot от exa.ai.

10 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil