Блог TrafficVeil

Статьи и руководства — страница 61

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота StormIntelCrawler: нежелательный прочие краулеры и сервисы
Боты4 мин

Три разных «Storm»: почему нельзя банить по половине названия

StormIntelCrawler — не единственный бот со словом Storm в имени. Разбираем, как минимум три несвязанные сущности прячутся за похожими названиями, и почему регулярка-wildcard здесь опасна.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота AppleBot: легитимный поисковые роботы
Боты6 мин

AppleBot и Applebot-Extended: чем директива отличается от краулера

Applebot — краулер Apple, а Applebot-Extended — токен управления использованием данных. Документированные способы проверки запросов и отдельные политики поиска и обучения.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота kagi-fetcher: нежелательный прочие краулеры и сервисы
Боты5 мин

Два бота одной Kagi: не путайте kagi-fetcher с Kagibot

У поисковой системы Kagi есть два разных бота — основной краулер Kagibot и менее документированный kagi-fetcher, срабатывающий по живым запросам через Kagi AI. Разбираем разницу и как настроить каждого отдельно.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота Meta ExternalAgent: легитимный прочие краулеры и сервисы
Боты6 мин

Meta-ExternalAgent: назначение и политика доступа

Meta-ExternalAgent собирает веб-контент для задач, включающих обучение базовых AI-моделей и улучшение продуктов Meta. Его следует отличать от превью ссылок и пользовательских загрузок.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота MailChimp: легитимный прочие краулеры и сервисы
Боты5 мин

MailChimp в логах: почему это не ваша рассылка, а чужая

Разбираем, что на самом деле означает UA mailchimp в access.log — систему антифишинговой проверки Omnivore, которая срабатывает, когда кто угодно в мире вставил ссылку на ваш сайт в свою email-кампанию.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота CocCocBot: легитимный поисковые роботы
Боты5 мин

CocCocBot: поисковик Вьетнама с 22 миллионами пользователей стучится в ваши логи

Разбираем coccocbot-web — краулер вьетнамского поисковика и браузера Cốc Cốc. Официальный пример robots.txt, поддержка crawl-delay как альтернатива полной блокировке и когда видимость там реально ценна.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота SpiderLing: нежелательный прочие краулеры и сервисы
Боты5 мин

SpiderLing: у этого краулера в принципе нет одного хозяина

SpiderLing — открытое академическое ПО для сбора лингвистических корпусов, а не сервис одной компании. Разбираем, почему под одним UA могут скрываться разные исследовательские группы, и как это влияет на верификацию.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота HuaweiCrawler: нежелательный прочие краулеры и сервисы
Боты6 мин

«HuaweiCrawler» в логах? Настоящий бот Huawei называется иначе

Токен «HuaweiCrawler» не совпадает с официальным именем краулера Huawei — PetalBot. Разбираем, почему это расхождение критично для проверки подлинности, и когда блокировка PetalBot может стоить реального трафика.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота HoneybadgerBot: легитимный прочие краулеры и сервисы
Боты5 мин

HoneybadgerBot: скорее всего, ваша же команда следит за аптаймом

Название прямо намекает на Honeybadger.io — сервис мониторинга ошибок и доступности. Разбираем, почему это, вероятно, узкий uptime-пинг, а не широкий обход, и когда стоит спросить коллег, прежде чем блокировать.

7 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil