Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
rigor в логах почти всегда означает не постороннего бота, а синтетический мониторинг — кто-то настроил регулярную проверку доступности и скорости конкретных страниц сайта. Разбираемся, почему блокировать его стоит с оглядкой на реальных подрядчиков.
amazonbuyforme в логах — не техническая проверка интеграции, а агент фичи Amazon «Buy for Me»: по запросу пользователя приложения он сам оформляет покупку на бренд-сайте. Разбираемся, почему блокировать его стоит осторожнее, чем обычного бота.
SkroutzBot в базе TrafficVeil по умолчанию помечен как нежелательный, но по официальной документации оператора — это конкретный краулер греческого маркетплейса Skroutz, который приходит только на сайты, явно подключившие товарный XML-фид, и публикует список своих IP-диапазонов. Разбираемся, чем он отличается от обычного скрапера, как проверить его подлинность по IP и почему для настоящих партнёров Skroutz правильная реакция — не блокировка, а внесение в белый список.
В access.log dlvr.it выглядит как обычный фоновый краулер, но на деле это не индексатор, а фид-фетчер социального автопостинга: сервис забирает RSS/Atom конкретно потому, что кто-то из его пользователей подключил ваш фид, чтобы автоматически публиковать новые материалы в Twitter, Facebook или LinkedIn. Разбираемся, как часто он реально заходит, почему привычное правило User-agent: * его не остановит и какую политику допуска выстроить через TrafficVeil.
В логах сайта Copyscape выглядит как обычный «безымянный» бот, но за ним стоит совсем не AI-краулер, как иногда думают, а сервис проверки на плагиат: либо разовый ручной поиск копий текста, либо автоматический мониторинг Copysentry, который обходит чужие страницы по расписанию. Разбираемся, зачем этот бот заходит на конкретные URL, почему его репутация ближе к SEO-инструментам, чем к обучающим краулерам, и как выстроить для него разумную политику доступа — от rate-limit до полного запрета через TrafficVeil.
Общий поиск по слову «skype» в логах цепляет сразу несколько разных, исторически связанных механизмов Microsoft — от закрытого в мае 2025 года превью-бота до активной внутренней инфраструктуры Teams, унаследовавшей кодовое имя SkypeSpaces. Разбираемся, почему общее правило блокировки по этому слову рискованно, и как разделить разные варианты в своих логах.
Fedicabot принадлежит Fedica — крупной платформе публикации и аналитики соцсетей, а не имеет отношения к Fediverse, несмотря на созвучное название. Официальная страница оператора прямо заявляет: бот не обходит сайты целиком, а читает только страницу, которую указал конкретный пользователь при планировании публикации, — это меняет всю логику оценки риска.
Amazon Kendra — реальный сервис корпоративного поиска AWS, и его коннектор Web Crawler обходит только те конкретные URL, которые явно указал клиент AWS при настройке источника данных — то есть это не свободный обход, а целевая индексация по чьему-то заданию. Разбираемся, почему первый шаг здесь — проверить, не настроен ли на вашем сайте (или у партнёра) такой поисковый индекс, прежде чем блокировать бота как постороннего.
Contentedge — AI-инструмент для SEO-копирайтинга, выделенный из YCombinator-компании RankScience, который строит модель темы на основе того, что уже реально ранжируется в выдаче — а не собирает контент впрок для обучения AI-модели. Разбираемся, почему обращение к вашей странице означает конкурентный контент-анализ под конкретную статью, и почему это уже четвёртый похожий случай неверной категоризации в базе.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.