Блог TrafficVeil

Статьи и руководства — страница 35

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Google-AdWords-Express: легитимный рекламные и adtech-боты
Боты6 мин

Google-AdWords-Express: токен, которого нет в документации Google

Разбираем Google-AdWords-Express — токен, отсутствующий в актуальном официальном списке краулеров Google. Показываем, какие токены (AdsBot-Google, AdsBot-Google-Mobile) реально отвечают за проверку рекламы сегодня, как проверить подлинность по IP и настроить robots.txt.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота AI Article Writer: легитимный ai и llm-краулеры
Боты6 мин

AI Article Writer в логах: атрибуция и контроль запросов

Что можно заключить по заявленной строке AI Article Writer, когда оператор не подтверждён. Проверка собственных интеграций, ограничение запросов и границы robots.txt.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Authory: легитимный прочие краулеры и сервисы
Боты5 мин

Authory в логах: архив вашего же автора, а не чужой краулер

Разбираем Authory — сервис автоматического архивирования публикаций для журналистов и блогеров. Показываем, почему присутствие бота обычно означает, что кто-то из ваших авторов архивирует свои материалы, как найти его в access.log и настроить allow/deny.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота LinkWalker: нежелательный превью ссылок в соцсетях
Боты6 мин

LinkWalker в логах: не превью ссылок, а совсем другой бот

Разбираем LinkWalker — исторический краулер для построения карты ссылок в вебе, который сегодня связан с индустрией защиты бренда (BrandProtect), а не с превью ссылок в соцсетях. Показываем, почему стандартная логика «сломаются карточки шеринга» здесь не работает, и как найти бота в access.log.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Feedly: легитимный rss и фиды
Боты6 мин

FeedlyFeedly в логах: агент читателя, а не краулер — и это меняет всё

Разбираем Feedly — RSS-агрегатор, который по собственному официальному заявлению не соблюдает robots.txt, потому что действует как агент конкретного подписчика. Показываем, как читать число подписчиков прямо из UA, и единственный рабочий способ блокировки, который рекомендует сама компания.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Nicecrawler: нежелательный прочие краулеры и сервисы
Боты5 мин

Nicecrawler в логах: непрозрачный краулер с полным рендерингом

Разбираем Nicecrawler — краулер с недокументированным оператором и назначением, который рендерит страницы через Chrome-based headless-браузер. Объясняем, почему за один визит появляется кластер запросов, как найти бота в access.log и почему deny — разумный default.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Blogtrottr: легитимный прочие краулеры и сервисы
Боты6 мин

Blogtrottr в логах: у вашей ленты есть email-подписчики

Разбираем Blogtrottr — сервис доставки RSS-обновлений на email, который уважает TTL из вашей же ленты для регулирования частоты опроса. Показываем, как найти бота в access.log, настроить интервал через фид вместо блокировки и решить allow/deny.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота SFDC-Callout: легитимный прочие краулеры и сервисы
Боты6 мин

SFDC-Callout в логах: чья это Salesforce-интеграция

Разбираем SFDC-Callout — стандартный User-Agent исходящих запросов из Salesforce, который может принадлежать вашей собственной CRM-интеграции или чужой, никак не связанной с вами организации. Показываем, почему IP и robots.txt здесь малополезны, как найти запросы в access.log и не сломать чужую интеграцию при блокировке.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота KargoBot: нежелательный прочие краулеры и сервисы
Боты6 мин

KargoBot в логах: рекламный бот, замаскированный под iPhone

Разбираем KargoBot (KargoBot-Artemis-Mobile) — бота верификации контента компании Kargo, который маскируется под мобильный Safari и поэтому легко проходит мимо обычных фильтров. Показываем, как найти его в access.log, настроить robots.txt и allow/deny через TrafficVeil.

13 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil