Блог TrafficVeil

Статьи и руководства — страница 62

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Heritrix: легитимный веб-архивы
Боты5 мин

«Это, возможно, кто-то ещё» — сам Internet Archive о чужих Heritrix

Internet Archive официально признаёт: строка «heritrix» в логах без archive.org может принадлежать постороннему оператору того же open-source ПО. Разбираем, как их отличить, и промежуточный случай с Archive-It.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота EzoicBot: нежелательный прочие краулеры и сервисы
Боты4 мин

EzoicBot: почему desktop и mobile нельзя развести в robots.txt

EzoicBot работает на тысячах машин одновременно — отсюда отсутствие компактного IP-списка. Разбираем, зачем один токен обслуживает обе версии краулера и почему кратковременные всплески частоты — это норма.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота YisouSpider: нежелательный прочие краулеры и сервисы
Боты5 мин

YisouSpider выдаёт себя после блокировки — вот как

Краулер Shenma (SM.CN) обслуживает сотни миллионов мобильных пользователей в Китае, но соблюдение robots.txt у него ненадёжно. Разбираем забавную техническую аномалию в логах, которая помогает отличить настоящий трафик от подделки.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота DeepSeekBot: нежелательный ai и llm-краулеры
Боты5 мин

DeepSeekBot существует ли вообще как единый токен — разбираемся

Часть источников уверенно описывает UA DeepSeekBot, другая — утверждает, что DeepSeek обходит сайты анонимно, без задекларированного токена. Разбираем это противоречие и что оно значит для настройки блокировки.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота Google CloudVertexBot: нежелательный прочие краулеры и сервисы
Боты3 мин

Google-CloudVertexBot: назначение, проверка и правила обхода

Краулер Google для настроенной интеграции Vertex AI: как проверить запросы, учесть robots.txt и открыть только разрешённый для индексации контент.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота BaiduSpider: легитимный поисковые роботы
Боты6 мин

Baiduspider: полная семья краулеров и почему noindex здесь бесполезен

Baiduspider — не один бот, а целое семейство: картинки, видео, JS-рендеринг, мобильная версия, мини-программы. Разбираем полный состав, верификацию через rDNS и почему для Baidu работает только Disallow, а не noindex.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота TimpiBot: нежелательный прочие краулеры и сервисы
Боты6 мин

TimpiBot: краулер без единого IP, который читает только текст

TimpiBot собирает данные для децентрализованного поиска Timpi через сеть независимых нод без статических IP. Разбираем, почему это чисто текстовый краулер, какой контент он предпочитает и почему одного robots.txt недостаточно.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота YandexRenderResourcesBot: нежелательный поисковые роботы
Боты6 мин

Зачем Яндексу отдельный робот только для JS и CSS

YandexRenderResourcesBot дорисовывает страницу так же, как браузер, чтобы Яндекс честно оценивал JS-сайты. Разбираем нюанс с robots.txt (ресурсы vs HTML) и как снизить нагрузку без риска для рендера.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота ProductLookoutBot: нежелательный прочие краулеры и сервисы
Боты4 мин

Что скрывается за деловым именем ProductLookoutBot

Название ProductLookoutBot звучит как мониторинг товаров, но подтверждённого оператора у него нет. Разбираем, когда такой гипотезе можно доверять, а когда — только поведению бота.

9 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil