Блог TrafficVeil

Статьи и руководства — страница 30

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота AI SEO Crawler: легитимный ai и llm-краулеры
Боты6 мин

AI SEO Crawler: имя на стыке двух индустрий, без оператора ни в одной

Разбираем токен AI SEO Crawler — не совпадает ни с реальными SEO-краулерами (AhrefsBot, SemrushBot), ни с реальными AI-краулерами (GPTBot, PerplexityBot). Показываем, какие настоящие токены разрешать вместо него, и почему deny по умолчанию оправдан.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота AI Search Engine: легитимный ai и llm-краулеры
Боты6 мин

AI Search Engine: обобщённое имя вместо настоящих AI-поисковиков

Разбираем токен AI Search Engine — не совпадает ни с одним реальным документированным AI-поисковым краулером. Показываем, какие настоящие токены (PerplexityBot, OAI-SearchBot, Google-Extended) стоит разрешать вместо него, если цель — цитирования в AI-ответах.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота adbeat_bot: нежелательный рекламные и adtech-боты
Боты6 мин

Adbeat_bot в логах: конкурентная разведка чужой рекламы

Разбираем adbeat_bot — краулер платной платформы Adbeat, которая отслеживает рекламные стратегии конкурентов для своих клиентов. Показываем, почему сайт попадает в её выборку просто из-за показа рекламы, как найти бота в access.log и настроить allow/deny.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота EvernoteRichLinkBot: нежелательный превью ссылок в соцсетях
Боты6 мин

EvernoteRichLinkBot в логах: превью для чужих заметок

Разбираем EvernoteRichLinkBot — бота компании Evernote, который подтягивает превью ссылки, когда пользователь сохраняет её в заметке. Показываем связь со старым токеном Evernote Clip Resolver, реальный репутационный спор вокруг таких ботов, и как настроить allow/deny.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота AI Content Detector: легитимный ai и llm-краулеры
Боты6 мин

AI Content Detector: узнаваемая тема, неподтверждённый бот

Разбираем токен AI Content Detector — совпадает по смыслу с реальной и развитой индустрией (GPTZero, Copyleaks, Originality.ai), но без подтверждённой связи с конкретным оператором. Показываем, почему логика самих детекторов не предполагает фонового обхода сайтов, и как настроить deny по умолчанию.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Diffbot: нежелательный прочие краулеры и сервисы
Боты5 мин

Diffbot в логах: собственный краулинг или чужой Extract-джоб

Разбираем Diffbot — платформу структурированных веб-данных с собственным краулингом для Knowledge Graph и клиентским Extract/Crawl API. Показываем открытое противоречие в источниках насчёт AI-тренировки, как найти оба токена в access.log и настроить allow/deny.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Browserbase: легитимный прочие краулеры и сервисы
Боты7 мин

Browserbase в логах: чей-то AI-агент, а не один бот

Разбираем Browserbase — облачную инфраструктуру headless-браузеров для AI-агентов и автоматизации, которой пользуются тысячи разных компаний. Объясняем, почему часть трафика этой платформы намеренно не видна в логах, и как найти бота, настроить allow/deny.

13 авг. 2026 г.Читать
Боты7 мин

LeakIX ScannerLeakIX Scanner в логах: не просто краулер, а сканер портов

Разбираем LeakIX Scanner (l9scan) — security-инструмент, который сканирует не только веб-страницы, но и открытые порты сервисов. Показываем официальный список IP, почему robots.txt здесь малоэффективен, и почему репутация сервиса в сообществе неоднозначная.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Agent: легитимный прочие краулеры и сервисы
Боты6 мин

Agent в логах: почему это не бот, а слово

Разбираем, почему токен «Agent» нельзя фильтровать как обычного бота — это подстрока, совпадающая с огромным числом легитимных UA-строк и других ботов. Показываем правильный способ расследовать конкретный всплеск через полные строки UA вместо шаблонного grep и robots.txt правила.

13 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil