Блог TrafficVeil

Статьи и руководства — страница 51

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота SurdotlyBot: нежелательный прочие краулеры и сервисы
Боты5 мин

SurdotlyBot заявляет о вежливости, но логи вебмастеров говорят иное

Sur.ly официально обещает полное соблюдение robots.txt, но реальный полевой отчёт фиксирует месяцы игнорирования директив. Разбираем, чем на самом деле занят этот бот — ссылками, а не контентом сайта.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Bravebot: нежелательный поисковые роботы
Боты6 мин

Bravebot: официальная забота о справедливости или экономия ресурсов?

Публичное объяснение Brave о скрытом UA расходится с признанием их же руководителя поиска — и это уже привело к реальному конфликту с сообществом разработчиков. Разбираем эту историю и почему видимый токен Bravebot нельзя криптографически проверить.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота updown.io: легитимный мониторинг доступности
Боты6 мин

Updown.io: редкий случай, когда список IP обновляется сам

В отличие от большинства uptime-мониторов, updown.io публикует живую DNS-запись со всеми своими IP и прямо просит не хардкодить адреса. Разбираем эту прозрачность и почему блокировка почти всегда бьёт по вашему же мониторингу.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Hypotenuse AI: легитимный ai и llm-краулеры
Боты6 мин

Hypotenuse AI, скорее всего, забирает ваш же каталог товаров

Это не общий сборщик контента для чужого ИИ, а сервис генерации товарных описаний с официальной интеграцией под Shopify. Разбираем, почему визит бота вероятнее всего означает, что ваша же команда подключила магазин к сервису.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Hemingway Editor: легитимный ai и llm-краулеры
Боты4 мин

«Hemingway Editor» в логах — вероятно, не тот Hemingway Editor

У известного инструмента для редактирования текста нет функции обхода чужих сайтов. Разбираем, почему эта строка в логах, скорее всего, не связана с реальным продуктом, и как действовать при такой неопределённости.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота GoogleOther: нежелательный прочие краулеры и сервисы
Боты3 мин

GoogleOther: назначение, проверка и настройка robots.txt

Как отличить заявленный GoogleOther от подтверждённого запроса Google, выбрать правила для семейства и оценить нагрузку по собственным логам.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Gemini Deep Research: нежелательный ai и llm-краулеры
Боты6 мин

Gemini Deep Research — что это за бот Google и нужно ли блокировать

Что такое Gemini-Deep-Research, зачем агент Google получает страницы, чем отличается от Googlebot и Google-Extended и как настроить Allow, Monitor или Block.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота OI-Crawler: нежелательный прочие краулеры и сервисы
Боты8 мин

OI-Crawler: что это за бот OpenINTEL и нужно ли его блокировать

OI-Crawler — исследовательский веб-краулер проекта OpenINTEL, который получает landing page доменов для интернет-измерений. Разбираемся, зачем он приходит на сайт, как работает с robots.txt, как определить настоящий OI-Crawler/Nutch и когда использовать Allow, Rate Limit или Block.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Meta ExternalAds: легитимный прочие краулеры и сервисы
Боты5 мин

Meta-ExternalAds: что это за бот Meta и нужно ли его блокировать

Meta-ExternalAds — краулер Meta для сценариев, связанных с улучшением рекламных и других бизнес-продуктов компании. Разбираемся, как определить meta-externalads в логах, проверить источник по инфраструктуре Meta и правильно настроить Allow, robots.txt или Block.

10 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil