Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
UptimeBot — бот сервиса Uptime.com, который имитирует обращение к сайту, чтобы DevOps- и SRE-команды узнавали о простоях раньше пользователей. Разбираем, как устроен synthetic monitoring, почему бот обычно использует HEAD вместо GET и как решить, чей это мониторинг — ваш или чужой.
bitlybot — точечный fetcher сервиса Bitly, который проверяет целевые страницы коротких ссылок и собирает данные для превью. Разбираем, какие именно задачи он решает, почему сама по себе видимость бота в логах означает, что кто-то сократил ссылку на ваш сайт, и как настроить доступ через Open Graph теги, robots.txt и nginx.
KStandBot собирает данные для url-classification.io — сервиса категоризации сайтов, который используют системы родительского контроля, DLP, программатик-рекламы и веб-фильтрации у провайдеров. Разбираем, зачем он классифицирует чужие сайты, почему у него есть официально опубликованный список IP (редкость среди краулеров) и как его заблокировать.
Строка jasperai в логах ведёт к Jasper — крупной платформе AI-агентов для маркетинга, но официальной документации по её краулеру компания не публикует. Разбираем вероятное назначение бота, честно отмечаем пробелы в открытых данных и даём рабочую стратегию allow/deny по фактическому поведению в логах.
У ImagesiftBot, в отличие от многих анонимных ботов, есть конкретный владелец — компания Hive и её платформа Imagesift для обратного поиска изображений и модерации контента. Разбираем, зачем бот скачивает картинки, почему он может по умолчанию следовать правилам для Googlebot и как настроить блокировку или rate-limit.
Разбираем клиента платформы INK (INKforall) — легитимный AI-инструмент для контент-маркетинга: как он использует чужие страницы для SEO-анализа и проверки на плагиат, чем его поведение отличается от массовых AI-краулеров и как настроить доступ через robots.txt и nginx.
За этим краулером стоит пражская risk-intelligence компания с 10+ годами данных и десятками тысяч отслеживаемых категорий событий. Разбираем, кто реально клиент этой платформы, и почему сайту от визитов обычно нет прямой пользы
IonCrawl — intelligence-gathering краулер IONOS, а не безымянный агент. Разбираем логику «обхода по списку клиентов» и когда блокировка работает на ваше тактическое преимущество.
Известный AI-инструмент для письма и SEO не оперирует веб-краулером — пользователь сам пишет текст в редакторе. Разбираем, почему это название в логах вызывает вопросы, и как действовать при такой неопределённости.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.