Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
За именем Blackboard, вероятно, стоит крупный разработчик LMS для высшего образования, а конкретный краулер связан с модулем проверки на плагиат SafeAssign. Разбираем реальный задокументированный эпизод, когда упоминание GitHub в строке User-Agent само по себе провоцировало блокировку легитимного бота, и свежую позицию Blackboard по проблеме AI-агентов, неотличимых от студентов.
MarketMuse — известная на рынке SEO и контент-стратегии платформа (с 2024 года — часть Siteimprove), встраивавшая ИИ в свои продукты ещё до того, как термин «AI-краулер» вошёл в обиход. Разбираем, зачем построению моделей тем нужен обход сотен-тысяч сторонних страниц, чем это отличается от накопления обучающего датасета для генеративной модели, и когда бот работает в интересах самого сайта.
Outwrite (ранее GradeProof) — известный сервис проверки грамматики, стиля и оригинальности текста с более чем миллионом пользователей. Разбираем, почему платная функция проверки на плагиат — самое правдоподобное объяснение присутствия бота в чужих логах, и чем это принципиально отличается от системного сбора данных для обучения AI-моделей.
SE Ranking официально гарантирует: их backlink-краулер не читает и не сохраняет тексты, изображения или любое другое содержимое страницы — только сами ссылки для построения графа ссылочной структуры веба. Разбираем, почему устаревшие справочники ошибочно относят его к «превью-ботам», как не спутать с родственным SEBot-WA того же вендора, и почему robots.txt должен строго отдавать код 200.
rogerbot принадлежит Moz (бывшая SEOmoz), и его индекс лежит в основе широко используемых отраслевых метрик Domain Authority и Page Authority. Разбираем, почему это меняет расчёт по сравнению с произвольным SEO-краулером — даже сайты, никогда не пользовавшиеся Moz, косвенно выигрывают от присутствия в этом индексе, — и как настроить Crawl-Delay вместо полной блокировки.
Вопреки шаблонной классификации «AI и LLM-краулер», outbrain — давний сервис нативной рекламы и content discovery, чей краулер индексирует страницы исключительно для работы виджетов рекомендаций у официальных партнёров-издателей. Разбираем, как устроена модель партнёрства, почему бот в принципе не рассылается без согласованной интеграции, и что означает его появление на сайте без подключённого виджета.
TikTokSpider — узкий фетчер превью ссылок для TikTok, полностью отдельный от AI/индексационного Bytespider той же экосистемы ByteDance. Разбираем ключевые различия по агрессивности и цене ошибки блокировки, реальный кейс со сменой User-Agent прямо перед обходом (сигнал спуфинга), и рабочую связку правил, которая сохраняет превью и режет обучающий краулинг.
Открытые каталоги ботов расходятся в трактовке токена cohere-ai: часть считает его прямым обучающим краулером Cohere, другие — неподтверждённым пользовательским агентом, отдельным от точно задокументированного cohere-training-data-crawler. Разбираем эту путаницу честно, объясняем, почему она практически важна для решения о доступе, и даём рекомендации на случай обеих трактовок.
curl — не бренд одного бота, а старейший командный HTTP-клиент, стандарт с 1996 года. Разбираем малоизвестную историческую деталь — что curl не отправлял User-Agent вовсе до версии 7.15.5 (2002 год), — и почему дефолтная строка curl/X.Y.Z в логах чаще говорит о забытых настройках, чем о попытке замаскироваться.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.