Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
За скромным публичным краулером intelx.io_bot стоит сервис, архивирующий даркнет, утечки данных и логи вредоносного ПО без политики удаления «токсичного» контента. Разбираем, почему это принципиально не Wayback Machine.
Этот бот не собирает контент вашего сайта — он профилирует вашу компанию как посетителя чужого сайта с трекингом SalesViewer. Разбираем перевёрнутую механику визита и почему сайт здесь объект, а не клиент.
У всей категории uptime-мониторов есть общая закономерность: их трафик почти всегда преднамеренный — кто-то настроил проверку именно для вашего сайта. Разбираем, как это проверить, и типичный технический профиль легитимного монитора.
Пометка Dyatel в UA YaDirectFetcher — не случайность, а маркер отдельной категории «простукивалок» Яндекса. Разбираем это семейство и почему официально подтверждено полное игнорирование robots.txt.
ArchiveTeam не просто игнорирует robots.txt технически — у них есть целая вики-страница, объясняющая это как осознанную архивную философию. Разбираем логику, реального оператора и почему robots.txt здесь бессилен.
Токен eecs498 привязан к номеру университетского курса, под которым в разных вузах и семестрах студенты пишут учебные краулеры. Разбираем, почему это, вероятно, не один и тот же бот из года в год.
Данные Common Crawl легли в основу обучения GPT, LLaMA, Mistral и множества других моделей одновременно. Разбираем, почему архив 2007 года меняет смысл «свежей» блокировки и какой у неё двойной эффект.
Этот краулер DomainsBot прежде всего инструмент для юридических команд, ведущих домен-споры и UDRP-дела. Разбираем, какие именно данные он ищет и почему это не нейтральная BI-аналитика.
По словам самого оператора, превью-снимки PagePeeker обычно приводят на сайт больше посетителей. Разбираем, когда Allow действительно в плюс, и почему с robots.txt здесь не всё однозначно.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.