Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Краулер Miralinks обходит площадки не ради текста, а чтобы подтвердить соответствие требованиям биржи — возраст домена, хостинг, число проиндексированных страниц. Разбираем логику визитов и частую путаницу с Telegram-ботом.
DataForSeoBot собирает данные для Backlinks API компании DataForSEO. Разбираем двусторонний эффект блокировки, официальную классификацию Cloudflare Radar и разницу с OnPage-краулером RSiteAuditor.
MBCrawler от Monitor Backlinks/SEOptimer перепроверяет конкретные страницы с уже зафиксированными ссылками. Разбираем, почему регулярные визиты на один URL — не случайность, и стоит ли блокировать бота.
У краулера Exa (exa.ai) теперь официальный robots.txt-токен ExaSearchBot и криптографическая подпись запросов вместо IP-списка. Разбираем, что изменилось и как не спутать с историческим Exabot Exalead.
python-requests — не бот одного оператора, а популярная HTTP-библиотека Python. Разбираем контринтуитивный факт: настоящие злоумышленники почти всегда меняют этот UA, а значит его «нетронутое» появление скорее говорит о безобидной автоматизации.
У WebTextBot нет подтверждённого владельца, а активность странно сконцентрирована в одном месяце. Разбираем, о чём это может говорить и как проверить бота без официальных данных.
За коротким «owler» в логах прячутся два несвязанных проекта: коммерческая бизнес-аналитика Owler.com и некоммерческий EU-краулер OpenWebSearch.eu. Разбираем, как их различить по полной строке UA.
Оператор этого бота — не Meta, а Mediavine, платформа монетизации рекламы для блогов. Разбираем задокументированный случай, когда его блокировка напрямую сломала показ рекламы у сайта-партнёра сети.
CheckMarkNetwork честно соблюдает robots.txt и умеренный темп обхода, но многие сайты всё равно закрывают его в стандартных шаблонах блокировки. Разбираем, зачем он приходит, и стоит ли делать исключение.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.