Блог TrafficVeil

Статьи и руководства — страница 70

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота ClaudeBot: нежелательный ai и llm-краулеры
Боты5 мин

ClaudeBot

ClaudeBot — основной краулер Anthropic, который собирает публично доступный веб-контент для обучения и улучшения генеративных моделей семейства Claude. Это самый узнаваемый и старый из трёх официально задокументированных ботов Anthropic, находящийся в центре большей части публичной дискуссии об AI-краулерах — в том числе из-за нашумевших данных Cloudflare о крайне высоком соотношении «сканирование / переходы по ссылкам» у AI-краулеров в целом.

21 июл. 2026 г.Читать
Боты3 мин

ChatGPT-User: пользовательская загрузка и доступ к сайту

ChatGPT-User может получать страницу в рамках действия пользователя ChatGPT. Его нельзя считать обычным автоматическим поисковым краулером.

16 июл. 2026 г.Читать
Уникальная иллюстрация бота OAI AdsBot: нежелательный ai и llm-краулеры
Боты3 мин

OAI-AdsBot

OAI-AdsBot: назначение рекламной проверки OpenAI, официальный IP-feed и проверка доступа к целевой странице.

16 июл. 2026 г.Читать
Уникальная иллюстрация бота GPTBot: нежелательный ai и llm-краулеры
Боты4 мин

GPTBot: назначение, robots.txt и официальный IP-feed

GPTBot — агент OpenAI для сбора материалов, которые могут использоваться при обучении базовых моделей. Это отдельная роль от поиска и пользовательской загрузки страницы.

16 июл. 2026 г.Читать
Уникальная иллюстрация бота OAI SearchBot: нежелательный ai и llm-краулеры
Боты4 мин

OAI-SearchBot: поиск ChatGPT и проверка источника

OAI-SearchBot обслуживает поисковые функции ChatGPT. Доступ этого агента и доступ обучающего GPTBot можно выбирать независимо.

16 июл. 2026 г.Читать
Как понять, что на сайт идет DDoS-атака: 20 признаков, чек-лист и инструкция по диагностике
Безопасность24 мин

Как понять, что на сайт идет DDoS-атака: 20 признаков, чек-лист и инструкция по диагностике

Разбираем 20 признаков DDoS-атаки, учимся отличать вредоносный трафик от естественного роста посещаемости и составляем план действий на первые 10 минут.

12 июл. 2026 г.Читать
Боты3 мин

Keys.so Bot (keys-so-bot)

Keys-so-bot — краулер российского SEO-сервиса Keys.so (оператор — компания «Битерика Групп»), который используется для сбора данных о видимости сайтов в органической и контекстной выдаче Яндекса и Google, анализа семантического ядра конкурентов и построения истории изменений файлов robots.txt. Это не поисковый робот в классическом смысле — он не индексирует страницы для показа в результатах поиска, а сканирует сайты в интересах пользователей сервиса, которые анализируют конкурентов.

11 июл. 2026 г.Читать
Аналитика7 мин

Ваш сайт атакуют каждый день. Вот доказательства. Исследование TrafficVeil

Для обычного пользователя атака — это когда сайт перестал открываться или его взломали. На практике всё начинается гораздо раньше. Ещё до DDoS или взлома сайт ежедневно проверяют тысячи автоматических скриптов: они ищут страницы входа, резервные копии, файлы конфигурации, известные уязвимости и другие потенциально слабые места. Именно такую постоянную автоматическую активность мы анализируем в этом исследовании.

5 июл. 2026 г.Читать
Уникальная иллюстрация бота DotBot: нежелательный seo и backlink-краулеры
Боты4 мин

DotBot от Moz: назначение, robots.txt и ограничения

DotBot наполняет ссылочный индекс Moz и отличается от Rogerbot для аудита сайта. Документированное управление обходом и границы проверки запросов.

29 июн. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil