Блог TrafficVeil

Статьи и руководства — страница 45

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота MyCentralAIScraperBot: нежелательный ai и llm-краулеры
Боты4 мин

MyCentralAIScraperBot: неизвестный оператор, но уже в блок-листе New York Times

Ни один крупный профильный реестр AI-ботов не может назвать реального оператора MyCentralAIScraperBot — но это не помешало ему попасть в боевой robots.txt The New York Times рядом с GPTBot и PerplexityBot. Разбираем, почему коллективное наблюдение сообщества администраторов может быть достаточным основанием для блокировки даже без раскрытия личности оператора.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота BingAI: легитимный ai и llm-краулеры
Боты5 мин

BingAI: почему такого бота официально не существует — Copilot работает через обычный Bingbot

У Microsoft нет отдельного, официально задокументированного краулера с именем BingAI или CopilotBot — AI-функции Bing Chat/Copilot строятся поверх того же поискового индекса, который собирает обычный bingbot. Разбираем, как на самом деле устроена связка Bing Search и Copilot, что реально входит в семейство краулеров Microsoft, и что может означать появление токена bingai в логах.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота EpivozCrawler: нежелательный прочие краулеры и сервисы
Боты6 мин

EpivozCrawler: когда похожее имя компании оказывается ложным следом

Поиск по имени EpivozCrawler выводит на реальную калифорнийскую компанию Epivoz Corporation — но её профиль (персональные услуги, два сотрудника) никак не соотносится с ролью оператора веб-краулера, так что связь, вероятнее всего, случайна. Разбираем, почему совпадение звучания — не доказательство, и как оценивать бота по поведению, когда честный ответ об операторе — «неизвестно».

11 авг. 2026 г.Читать
Уникальная иллюстрация бота UptimeStatistics: легитимный мониторинг доступности
Боты4 мин

UptimeStatistics: это не новый бот, а альтернативное имя уже знакомого Uptime Doctor

По данным каталога Cloudflare Radar, документация UptimeStatistics ведёт на тот же сервис, что и разобранный ранее uptimedoctor — сингапурский мониторинг, основанный в 2013 году, просто под другим историческим доменным именем. Разбираем, почему у одного оператора накопилось несколько разных User-Agent строк, включая архаичные записи, и почему оба токена стоит обрабатывать как одну учётную запись.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Articoolo: легитимный ai и llm-краулеры
Боты6 мин

Articoolo: небольшой израильский генератор статей с 2014 года — и почему его краулер, вероятно, не похож на массовый AI-скрапер

За Articoolo стоит небольшой израильский стартап, работающий с 2014 года: платный сервис генерации статей по ключевым словам с функциями переписывания, суммирования и подбора картинок. Разбираем, почему механика продукта предполагает точечное исследование темы по конкретному запросу пользователя, а не системный массовый обход сайта, и как это должно выглядеть в логах.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота MetaTagBot: легитимный ai и llm-краулеры
Боты4 мин

MetaTagBot: почему связь с корпорацией Meta, скорее всего, ошибочна

У Meta есть чётко задокументированный список собственных краулеров — и MetaTagBot среди них нет. Разбираем, почему совпадение имени с брендом Meta, вероятнее всего, случайность (слово "meta" относится к HTML meta-тегам, а не к компании), и почему ошибочная атрибуция оператору может привести к неверному решению allow/deny.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота YandexFavicons: легитимный поисковые роботы
Боты5 мин

YandexFavicons: узкий бот с одной задачей — и почему он может игнорировать ваше общее правило для ботов

YandexFavicons — часть большого семейства специализированных ботов Яндекса, отвечающая исключительно за иконку сайта в поисковой выдаче. Разбираем, почему такие вспомогательные боты Яндекса официально могут не учитывать общую директиву User-agent: *, как верифицировать подлинность через двойной DNS, и почему для большинства сайтов правильная стратегия — не блокировать, а ускорить отдачу favicon.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота atlassian-bot: нежелательный прочие краулеры и сервисы
Боты5 мин

Atlassian-bot: официальный краулер Rovo — с публичным списком IP и подробной документацией

В отличие от черновика с расплывчатым «оператор не указан публично», atlassian-bot — полностью задокументированный краулер Atlassian для системы Teamwork Graph, питающей поиск и AI-агентов Rovo. Разбираем официальный механизм подключения через коннектор Custom Website, нюанс с доступом ко всему контенту при настройке аутентификации, и как проверить подлинность запроса по официально публикуемому списку IP.

11 авг. 2026 г.Читать
Уникальная иллюстрация бота Friendica: легитимный прочие краулеры и сервисы
Боты5 мин

Friendica: почему у этого бота в принципе не может быть единого IP-списка

Friendica — не компания, а открытое ПО децентрализованной социальной сети: около 345 независимых узлов на январь 2025 года, каждый со своей инфраструктурой. Разбираем, почему это делает блокировку по IP бессмысленной, зачем узлы обращаются к сторонним сайтам, и как всплеск интереса к федивёрсу в 2022 году после смены владельца Twitter влияет на решение о допуске.

11 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil