Блог TrafficVeil

Статьи и руководства — страница 23

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Mediumbot-MetaTagFetcher: нежелательный прочие краулеры и сервисы
Боты4 мин

Mediumbot-MetaTagFetcher: бот Medium, а не Meta

mediumbot-metatagfetcher часто путают с ботом Meta из-за созвучного названия, но это фетчер превью-ссылок платформы Medium.com. Разбираемся, почему пометка «нежелательный» здесь ошибочна и когда его стоит разрешать.

24 авг. 2026 г.Читать
Уникальная иллюстрация бота Rigor: легитимный прочие краулеры и сервисы
Боты5 мин

Бот Rigor в логах: мониторинг сайта, а не случайный краулер

rigor в логах почти всегда означает не постороннего бота, а синтетический мониторинг — кто-то настроил регулярную проверку доступности и скорости конкретных страниц сайта. Разбираемся, почему блокировать его стоит с оглядкой на реальных подрядчиков.

24 авг. 2026 г.Читать
Уникальная иллюстрация бота AmazonBuyForMe: легитимный прочие краулеры и сервисы
Боты5 мин

AmazonBuyForMe в логах: бот, который реально покупает товар

amazonbuyforme в логах — не техническая проверка интеграции, а агент фичи Amazon «Buy for Me»: по запросу пользователя приложения он сам оформляет покупку на бренд-сайте. Разбираемся, почему блокировать его стоит осторожнее, чем обычного бота.

24 авг. 2026 г.Читать
Уникальная иллюстрация бота SkroutzBot: нежелательный прочие краулеры и сервисы
Боты7 мин

SkroutzBot в логах сайта: когда он легитимен, а когда нет

SkroutzBot в базе TrafficVeil по умолчанию помечен как нежелательный, но по официальной документации оператора — это конкретный краулер греческого маркетплейса Skroutz, который приходит только на сайты, явно подключившие товарный XML-фид, и публикует список своих IP-диапазонов. Разбираемся, чем он отличается от обычного скрапера, как проверить его подлинность по IP и почему для настоящих партнёров Skroutz правильная реакция — не блокировка, а внесение в белый список.

24 авг. 2026 г.Читать
Уникальная иллюстрация бота dlvr.it: легитимный прочие краулеры и сервисы
Боты6 мин

Бот dlvr.it в логах сайта: кто это и зачем заходит

В access.log dlvr.it выглядит как обычный фоновый краулер, но на деле это не индексатор, а фид-фетчер социального автопостинга: сервис забирает RSS/Atom конкретно потому, что кто-то из его пользователей подключил ваш фид, чтобы автоматически публиковать новые материалы в Twitter, Facebook или LinkedIn. Разбираемся, как часто он реально заходит, почему привычное правило User-agent: * его не остановит и какую политику допуска выстроить через TrafficVeil.

24 авг. 2026 г.Читать
Уникальная иллюстрация бота Copyscape: легитимный ai и llm-краулеры
Боты6 мин

Бот Copyscape на сайте: что он делает и стоит ли его блокировать

В логах сайта Copyscape выглядит как обычный «безымянный» бот, но за ним стоит совсем не AI-краулер, как иногда думают, а сервис проверки на плагиат: либо разовый ручной поиск копий текста, либо автоматический мониторинг Copysentry, который обходит чужие страницы по расписанию. Разбираемся, зачем этот бот заходит на конкретные URL, почему его репутация ближе к SEO-инструментам, чем к обучающим краулерам, и как выстроить для него разумную политику доступа — от rate-limit до полного запрета через TrafficVeil.

24 авг. 2026 г.Читать
Уникальная иллюстрация бота Skype: легитимный прочие краулеры и сервисы
Боты7 мин

Skype (общий токен): не один бот, а минимум три разных

Общий поиск по слову «skype» в логах цепляет сразу несколько разных, исторически связанных механизмов Microsoft — от закрытого в мае 2025 года превью-бота до активной внутренней инфраструктуры Teams, унаследовавшей кодовое имя SkypeSpaces. Разбираемся, почему общее правило блокировки по этому слову рискованно, и как разделить разные варианты в своих логах.

23 авг. 2026 г.Читать
Уникальная иллюстрация бота Fedicabot: нежелательный прочие краулеры и сервисы
Боты6 мин

Fedicabot: превью-fetcher Fedica, а не краулер Fediverse

Fedicabot принадлежит Fedica — крупной платформе публикации и аналитики соцсетей, а не имеет отношения к Fediverse, несмотря на созвучное название. Официальная страница оператора прямо заявляет: бот не обходит сайты целиком, а читает только страницу, которую указал конкретный пользователь при планировании публикации, — это меняет всю логику оценки риска.

23 авг. 2026 г.Читать
Уникальная иллюстрация бота Amazon Kendra: легитимный прочие краулеры и сервисы
Боты6 мин

Amazon Kendra: возможно, ваш корпоративный поиск

Amazon Kendra — реальный сервис корпоративного поиска AWS, и его коннектор Web Crawler обходит только те конкретные URL, которые явно указал клиент AWS при настройке источника данных — то есть это не свободный обход, а целевая индексация по чьему-то заданию. Разбираемся, почему первый шаг здесь — проверить, не настроен ли на вашем сайте (или у партнёра) такой поисковый индекс, прежде чем блокировать бота как постороннего.

23 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil