Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Происхождение с инфраструктуры Alibaba Cloud не доказывает ни легитимность, ни злой умысел — сканер может быть как чужим пентест-вендором, так и разведкой. Разбираем всю семью из пяти ботов Alibaba и типичный scanner-паттерн.
После блокировки YouTube API-ключей централизованный хостинг Podsync закрылся, и сегодня почти весь трафик — след чьих-то самостоятельно развёрнутых копий. Разбираем, зачем люди превращают видео в подкасты и как реагировать на такой трафик.
У краулера Comscore есть история почти в два десятилетия и соучредитель легендарной AltaVista среди основателей. Разбираем, почему совпадение UA не доказывает подлинность, и как проверить настоящего бота по факту запроса к robots.txt.
Разбор YandexMobileBot — робота Яндекса для оценки мобильной вёрстки. Почему он игнорирует общие директивы robots.txt, как его верифицировать по rDNS и ASN и как настроить точечный контроль без риска для мобильной выдачи.
У Allow для Stripebot есть конкретная практическая причина — функция Stripe Directory использует контент сайта, чтобы находить бизнес по релевантным запросам клиентов. Разбираем эту связь и официальное заверение о минимальной нагрузке.
Если заблокировать этого текстового краулера, ваш материал просто не попадёт в базу для сравнения — и списывание с вашего сайта в студенческих работах может остаться незамеченным. Разбираем технический профиль и масштаб практики блокировки.
Оператор указан неправильно в черновике — это updown.io с необычно прозрачной документацией по IP через живую DNS-запись. Разбираем, почему блокировка почти всегда бьёт по вашему же мониторингу.
За этим краулером стоит государственная служба Arquivo.pt с архивом в 21+ миллиард страниц. Разбираем, чем архивная консервация отличается от обычной сервисной проверки, и почему здесь robots.txt реально работает.
ViberBot от Rakuten срабатывает точечно при шеринге ссылки — и особенно значим именно для проектов с аудиторией в Восточной Европе, СНГ и на Ближнем Востоке. Разбираем механику и второй, менее очевидный бизнес-триггер визита.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.