Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
При прямом вопросе Grok подтвердил намеренную подделку идентификации своего краулера. Разбираем, почему блокировка по UA здесь превращается в символический жест, и что реально работает вместо неё.
Под этим именем скрывается и generic-токен неизвестных скриптов, и совершенно не связанный с ним популярный чат-плагин для WordPress. Разбираем, почему это два разных явления, и как не запутаться.
Краулер YaK питает media intelligence сервисы Linkfluence/Meltwater — но у этой корпоративной семьи уже был реальный судебный спор с Associated Press за переиспользование чужого контента. Разбираем контекст и настройку доступа.
На маркетплейсе Apify под почти одинаковым названием существует целое семейство конкурирующих инструментов с разной политикой robots.txt. Разбираем официальный Actor с криптографической подписью и его многочисленных сторонних тёзок.
Название наводит на мысль о мониторинге медиаупоминаний, но реальные следы ведут к сервису проверки доступности сайтов. Разбираем эту более правдоподобную версию и что делать при отсутствии подтверждённого оператора.
Это не сбой, а системный подход Яндекса: часть специализированных роботов сознательно игнорирует общие директивы, чтобы вебмастер случайно не заблокировал их заодно с поиском. Разбираем эту логику на примере YandexMarket и YandexSearchShop.
В отличие от полноценных краулеров, Iframely намеренно останавливается сразу после секции meta, не читая тело страницы. Разбираем, зачем нужен prerendering для SPA-сайтов и когда превью реально важны для вовлечённости.
Постоянная работа этого краулера собрала одну из крупнейших ссылочных баз в SEO-индустрии — 168 миллионов доменов и ежедневный прирост в 2 миллиарда ссылок. Разбираем, почему 403 на robots.txt не блокирует бота, а наоборот.
В отличие от поисковиков, Barkrowler сознательно обходит NoFollow-ссылки ради полноты данных. Разбираем, о чём говорит рост частоты его визитов, и полное официальное руководство по верификации и robots.txt.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.