Блог TrafficVeil

Статьи и руководства — страница 49

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Friendica: легитимный прочие краулеры и сервисы
Боты5 мин

Friendica: почему у этого бота в принципе не может быть единого IP-списка

Friendica — не компания, а открытое ПО децентрализованной социальной сети: около 345 независимых узлов на январь 2025 года, каждый со своей инфраструктурой. Разбираем, почему это делает блокировку по IP бессмысленной, зачем узлы обращаются к сторонним сайтам, и как всплеск интереса к федивёрсу в 2022 году после смены владельца Twitter влияет на решение о допуске.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота aiHitBot: нежелательный ai и llm-краулеры
Боты5 мин

AiHitBot: несмотря на имя, это бизнес-разведка с 2009 года, а не сырьё для AI-моделей

aiHitBot принадлежит британской компании aiHit, которая с 2009 года собирает и структурирует публичную бизнес-информацию о компаниях — вплоть до истории смен руководства во времени. Разбираем, почему буква "ai" в имени вводит в заблуждение, что реально собирает бот, и почему риск для сайта — не про AI-контур, а про попадание в чужую коммерческую базу бизнес-данных.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Adagiobot: нежелательный прочие краулеры и сервисы
Боты4 мин

Adagiobot: не «прочий нежелательный», а ad-tech краулер для оптимизации programmatic-рекламы

По независимым каталогам ботов, Adagiobot — не безымянный сканер, а специализированный ad-tech краулер, который запрашивает ads.txt, app-ads.txt и sellers.json для анализа real-time bidding и помощи издателям в оптимизации рекламного дохода. Разбираем, почему это меняет оценку риска по сравнению с шаблонной категорией «прочие нежелательные», и когда блокировка может напрямую ударить по монетизации сайта.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота SwifteqLinkChecker: легитимный превью ссылок в соцсетях
Боты5 мин

SwifteqLinkChecker: это не превью для соцсетей, а проверка ссылок в чужой базе знаний поддержки

По открытым данным о компании-операторе Swifteq (приложения для Zendesk, Freshdesk и Intercom с 2020 года), SwifteqLinkChecker, вероятно, связан не с построением превью ссылок для чатов и соцсетей, а с модулем Help Center Manager, который проверяет валидность внешних ссылок в статьях справочных центров поддержки. Разбираем, почему это меняет практический совет — и почему блокировка может навредить тому, как ваш сайт выглядит в чужой документации.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота UptimeRobot: легитимный мониторинг доступности
Боты5 мин

UptimeRobot: как распознать мониторинг и настроить доступ

UptimeRobot: официальные User-Agent и IP, отдельный сценарий AI-настройки и проверка доступа мониторинга. Без неподтверждённого числа пользователей.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота MailRUBot: нежелательный ai и llm-краулеры
Боты5 мин

MailRUBot: два разных бота под похожими именами — и ни один не собирает данные для обучения AI

Под именем MailRUBot скрывается путаница минимум двух разных агентов: полноценный поисковый индексатор Mail.RU_Bot (VK Group, с 2009 года) и отдельный fetcher для email-превью ссылок. Разбираем, почему это не AI-краулер для обучающих датасетов, как отличить два варианта по точному написанию токена и паттерну обхода, и как настроить robots.txt для каждого сценария.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Ai2Bot-DeepResearchEval: нежелательный ai и llm-краулеры
Боты5 мин

Ai2Bot-DeepResearchEval: краулер некоммерческого Ai2 для оценки deep research — не путать с обучающим сбором

У Ai2Bot-DeepResearchEval есть явно раскрытый оператор — некоммерческий Allen Institute for AI, основанный Полом Алленом. Разбираем, чем оценка бенчмарков глубокого исследования отличается от массового сбора обучающих данных, чем этот бот отличается от родственных AI2Bot и Ai2Bot-Dolma, и почему шаблонный ярлык «нежелательный» стоит пересмотреть с учётом контекста.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота PaqleBot: нежелательный прочие краулеры и сервисы
Боты5 мин

Paqlebot: датский краулер медиа-разведки — и скрытая ловушка с fallback на правила Googlebot

Paqlebot принадлежит Paqle A/S — датской платформе медиа-разведки, мониторящей 130 000 медиаресурсов и связывающей упоминания в СМИ с официальным реестром юрлиц CVR. Разбираем главную практическую опасность: если для Paqlebot нет отдельного правила в robots.txt, бот по умолчанию следует правилам для Googlebot — а значит, ограничение для Google незаметно ограничивает и медиа-мониторинг, и наоборот.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота FAST-WebCrawler: нежелательный поисковые роботы
Боты5 мин

FAST-WebCrawler: почему у легендарного AlltheWeb на самом деле нет единого «наследника» в 2026 году

FAST-WebCrawler — токен потребительского поисковика AlltheWeb, чья судьба разошлась на два разных пути: сам сайт закрыла Yahoo! в 2011 году, а отдельная корпоративная технология FAST ушла в Microsoft ещё в 2008-м для совсем другого продукта. Разбираем эту редко замечаемую развилку и почему появление этого UA сегодня — почти наверняка спуфинг, а не живой краулер.

11 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil