Блог TrafficVeil

Статьи и руководства — страница 57

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота xAI SearchBot: нежелательный ai и llm-краулеры
Боты6 мин

«Intentionally spoofs» — Grok сам признал, что маскирует свой краулер

При прямом вопросе Grok подтвердил намеренную подделку идентификации своего краулера. Разбираем, почему блокировка по UA здесь превращается в символический жест, и что реально работает вместо неё.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота WPBot: нежелательный прочие краулеры и сервисы
Боты4 мин

WPBot в логах — не тот WPBot, что в каталоге плагинов

Под этим именем скрывается и generic-токен неизвестных скриптов, и совершенно не связанный с ним популярный чат-плагин для WordPress. Разбираем, почему это два разных явления, и как не запутаться.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Linkfluence: нежелательный превью ссылок в соцсетях
Боты4 мин

Linkfluence и тень судебного дела AP против Meltwater

Краулер YaK питает media intelligence сервисы Linkfluence/Meltwater — но у этой корпоративной семьи уже был реальный судебный спор с Associated Press за переиспользование чужого контента. Разбираем контекст и настройку доступа.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота ApifyWebsiteContentCrawler: нежелательный прочие краулеры и сервисы
Боты6 мин

ApifyWebsiteContentCrawler: одно имя носят сразу несколько разных ботов

На маркетплейсе Apify под почти одинаковым названием существует целое семейство конкурирующих инструментов с разной политикой robots.txt. Разбираем официальный Actor с криптографической подписью и его многочисленных сторонних тёзок.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота MediaDostupBot: нежелательный прочие краулеры и сервисы
Боты4 мин

MediaDostupBot: не медиамониторинг, а вероятно uptime-чекер

Название наводит на мысль о мониторинге медиаупоминаний, но реальные следы ведут к сервису проверки доступности сайтов. Разбираем эту более правдоподобную версию и что делать при отсутствии подтверждённого оператора.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота YandexMarket: легитимный поисковые роботы
Боты4 мин

Почему YandexMarket/2.0 «глухой» к общим правилам robots.txt

Это не сбой, а системный подход Яндекса: часть специализированных роботов сознательно игнорирует общие директивы, чтобы вебмастер случайно не заблокировал их заодно с поиском. Разбираем эту логику на примере YandexMarket и YandexSearchShop.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Iframely: легитимный прочие краулеры и сервисы
Боты5 мин

Iframely уходит, едва прочитав <meta> — вот почему он такой лёгкий

В отличие от полноценных краулеров, Iframely намеренно останавливается сразу после секции meta, не читая тело страницы. Разбираем, зачем нужен prerendering для SPA-сайтов и когда превью реально важны для вовлечённости.

10 авг. 2026 г.Читать
Боты7 мин

SerpstatBot строит базу из 952 миллиардов ссылок — вот зачем

Постоянная работа этого краулера собрала одну из крупнейших ссылочных баз в SEO-индустрии — 168 миллионов доменов и ежедневный прирост в 2 миллиарда ссылок. Разбираем, почему 403 на robots.txt не блокирует бота, а наоборот.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Barkrowler: нежелательный seo и backlink-краулеры
Боты7 мин

Barkrowler обходит даже то, что помечено «не смотри сюда»

В отличие от поисковиков, Barkrowler сознательно обходит NoFollow-ссылки ради полноты данных. Разбираем, о чём говорит рост частоты его визитов, и полное официальное руководство по верификации и robots.txt.

10 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil