Блог TrafficVeil

Статьи и руководства — страница 59

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота ZoominfoBot: нежелательный прочие краулеры и сервисы
Боты5 мин

ZoominfoBot охотится за вашей командой, а не за контентом

Этому боту нужны не общие данные о компании, а конкретно имена, должности и контакты сотрудников со страниц team/about. Разбираем, почему блокировка ничего не ломает на сайте, и старую историю с игнорированием robots.txt.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота PinterestBot: легитимный прочие краулеры и сервисы
Боты5 мин

Pinterestbot и Crawl-delay: заявлено — не значит гарантировано

Реальный продавец в поддержке Pinterest жаловался на сотни запросов в минуту, несмотря на настроенный Crawl-delay: 1.0. Разбираем официальную пользу для сайта и практический компромисс для чувствительных к нагрузке магазинов.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота IntelX Bot: нежелательный бот
Боты6 мин

Intelx.io_bot — верхушка айсберга гораздо более серьёзной платформы

За скромным публичным краулером intelx.io_bot стоит сервис, архивирующий даркнет, утечки данных и логи вредоносного ПО без политики удаления «токсичного» контента. Разбираем, почему это принципиально не Wayback Machine.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота SalesViewerBot: нежелательный прочие краулеры и сервисы
Боты6 мин

SalesViewerBot зашёл к вам, потому что вы зашли к кому-то другому

Этот бот не собирает контент вашего сайта — он профилирует вашу компанию как посетителя чужого сайта с трекингом SalesViewer. Разбираем перевёрнутую механику визита и почему сайт здесь объект, а не клиент.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота SiteUpTimeBot: легитимный мониторинг доступности
Боты5 мин

Прежде чем банить SiteUpTimeBot, спросите свою DevOps-команду

У всей категории uptime-мониторов есть общая закономерность: их трафик почти всегда преднамеренный — кто-то настроил проверку именно для вашего сайта. Разбираем, как это проверить, и типичный технический профиль легитимного монитора.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Yandex Direct Fetcher: нежелательный бот
Боты5 мин

Заголовок: «Дятлы» Яндекса: целое семейство ботов, игнорирующих robots.txt

Пометка Dyatel в UA YaDirectFetcher — не случайность, а маркер отдельной категории «простукивалок» Яндекса. Разбираем это семейство и почему официально подтверждено полное игнорирование robots.txt.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота ArchiveTeam ArchiveBot: нежелательный бот
Боты5 мин

«Удалите robots.txt» — официальный совет ArchiveTeam вебмастерам

ArchiveTeam не просто игнорирует robots.txt технически — у них есть целая вики-страница, объясняющая это как осознанную архивную философию. Разбираем логику, реального оператора и почему robots.txt здесь бессилен.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота EECS Crawler: нежелательный бот
Боты4 мин

EECS498: студенческий проект, который меняется каждый семестр

Токен eecs498 привязан к номеру университетского курса, под которым в разных вузах и семестрах студенты пишут учебные краулеры. Разбираем, почему это, вероятно, не один и тот же бот из года в год.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота CCBot: нежелательный прочие краулеры и сервисы
Боты7 мин

Один Disallow — десятки ИИ-компаний: масштаб CCBot

Данные Common Crawl легли в основу обучения GPT, LLaMA, Mistral и множества других моделей одновременно. Разбираем, почему архив 2007 года меняет смысл «свежей» блокировки и какой у неё двойной эффект.

10 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil