Блог TrafficVeil

Статьи и руководства — страница 60

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота MBCrawler: нежелательный прочие краулеры и сервисы
Боты4 мин

MBCrawler возвращается на одну страницу не просто так

MBCrawler от Monitor Backlinks/SEOptimer перепроверяет конкретные страницы с уже зафиксированными ссылками. Разбираем, почему регулярные визиты на один URL — не случайность, и стоит ли блокировать бота.

9 авг. 2026 г.Читать
Боты4 мин

ExaBot сменил токен на ExaSearchBot — обновите свои правила

У краулера Exa (exa.ai) теперь официальный robots.txt-токен ExaSearchBot и криптографическая подпись запросов вместо IP-списка. Разбираем, что изменилось и как не спутать с историческим Exabot Exalead.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота python-requests: нежелательный технические клиенты
Боты6 мин

Немодифицированный python-requests в логах — почему это не всегда злоумышленник

python-requests — не бот одного оператора, а популярная HTTP-библиотека Python. Разбираем контринтуитивный факт: настоящие злоумышленники почти всегда меняют этот UA, а значит его «нетронутое» появление скорее говорит о безобидной автоматизации.

9 авг. 2026 г.Читать
Боты4 мин

Майский гость: разбираем всплеск WebTextBot без имени оператора

У WebTextBot нет подтверждённого владельца, а активность странно сконцентрирована в одном месяце. Разбираем, о чём это может говорить и как проверить бота без официальных данных.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота Owler: нежелательный прочие краулеры и сервисы
Боты5 мин

Один токен, два разных Owler — и это меняет всю политику

За коротким «owler» в логах прячутся два несвязанных проекта: коммерческая бизнес-аналитика Owler.com и некоммерческий EU-краулер OpenWebSearch.eu. Разбираем, как их различить по полной строке UA.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота MediavineMetadataParser: нежелательный прочие краулеры и сервисы
Боты5 мин

Заблокировали MediavineMetadataParser — и сломали себе рекламу

Оператор этого бота — не Meta, а Mediavine, платформа монетизации рекламы для блогов. Разбираем задокументированный случай, когда его блокировка напрямую сломала показ рекламы у сайта-партнёра сети.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота CheckMarkNetwork: легитимный прочие краулеры и сервисы
Боты4 мин

CheckMarkNetwork: краулер, который уже давно банят по умолчанию

CheckMarkNetwork честно соблюдает robots.txt и умеренный темп обхода, но многие сайты всё равно закрывают его в стандартных шаблонах блокировки. Разбираем, зачем он приходит, и стоит ли делать исключение.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота FastmailUA: легитимный прочие краулеры и сервисы
Боты5 мин

FastmailUA стучится за календарём, а не за вашим сайтом целиком

FastmailUA — не обход сайта в общем смысле, а синхронизация ICS/CalDAV-календарей по подписке чьего-то Fastmail-аккаунта. Разбираем, кто на самом деле инициирует визит и как отличать его в логах.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота PerplexityBot: нежелательный ai и llm-краулеры
Боты6 мин

PerplexityBot заявляет о соблюдении robots.txt — но был пойман на обратном

Официальная документация Perplexity утверждает, что PerplexityBot уважает robots.txt. Разбираем задокументированный случай, когда краулер маскировался под обычный браузер, чтобы обойти запрет, и что с этим делать.

9 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil