Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
WARDBot — редкий случай конфликта атрибуции: официальный сервис мониторинга W.A.R.D. и независимый реестр AI-краулеров приписывают один токен разным компаниям. Разбираем, почему здесь reverse DNS обязателен, а не факультативен, и настройку блокировки через TrafficVeil.
Qualys — инструмент крупной публичной компании кибербезопасности, сканирующий веб-приложения на SQL-инъекции, XSS, CSRF по методологии OWASP Top 10. Разбираем, почему визит требует проверки санкционированности сканирования, а не только оценки нагрузки, и настройку блокировки через TrafficVeil.
REG.RU Monitor — реальный бесплатный сервис «Рег.мониторинг», который автоматически подключается для доменов, купленных через REG.RU, без явной настройки владельцем. Разбираем разницу с платной расширенной версией и настройку allow, rate-limit или блокировки через robots.txt и TrafficVeil.
SitemapBot без единого именованного оператора, но с хорошо документированной функциональной категорией — краулерами для генерации XML-карты сайта, которым нужен полный обход каталога. Разбираем, почему это объясняет обход пагинации из черновика, и настройку блокировки через robots.txt и TrafficVeil.
Watchbot — ещё один бот без подтверждённого публичного оператора; название предполагает мониторинг, но это не установленный факт. Разбираем, почему решение здесь строится на проверке собственных логов, а не на теории по имени, и как настроить блокировку через robots.txt и TrafficVeil.
vkShare — реальный fetcher-бот ВКонтакте, который формирует превью ссылок при шаринге или клике на «Мне нравится»/«Поделиться». Разбираем, почему автоматический подбор картинки без og-тегов может выдать не тот результат, и настройку allow, rate-limit или блокировки через robots.txt и TrafficVeil.
Poggio-Citations — официально задокументированный краулер компании Poggio, AI-платформы для enterprise-продаж, которая собирает цитаты с сайтов для account plans продавцов в Salesforce и Slack. Разбираем реальное назначение бота и настройку блокировки через robots.txt и TrafficVeil.
Qwarrybot — ещё один бот без подтверждённого публичного оператора, хотя встречается в списках блокировки крупных сайтов рядом с известными ad-tech-краулерами. Разбираем, почему решение здесь строится на проверке собственных логов, а не на готовой теории, и как настроить блокировку через robots.txt и TrafficVeil.
TavilyBot — краулер популярного API веб-доступа для AI-агентов Tavily, который официально не использует robots.txt для исключения страниц из индекса. Разбираем реальный механизм отказа (noindex + повторный обход) и настройку контроля через сервер и TrafficVeil.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.