Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
За токеном chrome-lighthouse в логах стоит открытый инструмент Google для аудита страниц по скорости, доступности и SEO — но с 2023 года часть такого трафика идёт вообще без этой метки в User-Agent, из-за чего фильтрация только по токену показывает не всю картину. Разбираемся, кто на самом деле запускает такие проверки — своя команда, сторонний мониторинг или случайный внешний аудитор через публичный PageSpeed Insights — и почему бездумная блокировка может незаметно сломать собственный мониторинг производительности.
Несмотря на соседство с превью-ботами соцсетей, deadlinkchecker на деле — инструмент DLC Websites для поиска неработающих ссылок, который рекурсивно обходит страницы сайта и проверяет каждую ссылку на 404/500. Разбираемся, чем это отличается от привычных OG-фетчеров, кто обычно стоит за такими визитами и как настроить доступ через robots.txt с поддержкой Crawl-delay.
В логах это выглядит как ещё один автоматический клиент, но на деле — встроенный механизм Chrome, который предзагружает страницы из поисковой выдачи Google ещё до клика пользователя, пряча его IP через собственный прокси. Разбираемся, почему тут бессилен обычный robots.txt, чем его заменяет файл traffic-advice и когда предзагрузку действительно стоит ограничивать.
Разбираемся, чем SimplePie-библиотека отличается от SimplePie-фетчера превью-ссылок, как их различить в access.log и когда стоит блокировать, а когда — нет.
По умолчанию wget на самом деле соблюдает robots.txt — но только при рекурсивном скачивании. Разбираем, когда файл вообще не запрашивается, и почему «нарушение» правил чаще осознанный выбор, а не баг.
Это не постепенный дрейф политики — Internet Archive официально объявил об отказе соблюдать robots.txt для Wayback Machine. Разбираем причину решения и почему ia_archiver сегодня уже не токен IA.
Разбираем LoomlyBot — на деле это бот превью ссылок платформы управления соцсетями Loomly, а не абстрактный сборщик данных. Показываем несоответствие текущей категоризации, как найти бота в access.log и почему allow по умолчанию логичнее блокировки.
Разбираем Claude Web — исторический токен Anthropic, официально исключённый из документации в феврале 2026 года вместе с anthropic-ai. Показываем четыре актуальных бота (ClaudeBot, Claude-SearchBot, Claude-User, Claude Code) и как правильно управлять видимостью сайта для Claude сегодня.
Разбираем Claude Code — официально задокументированный бот Anthropic для их CLI-инструмента программирования, который запрашивает страницы по инициативе конкретного разработчика, а не собирает контент фоново. Показываем, почему IP-верификация здесь ненадёжна, и как настроить allow/deny.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.