Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
WebArtexBot встречается только в общих сборных списках блокировки без единого описания оператора. Разбираем, что можно извлечь из самого контекста, и как оценить поведение без официальных данных.
Twingly Recon поддерживает noindex прямо в RSS/Atom-фиде — это не то же самое, что мета-тег для Google или Яндекса. Разбираем разницу и когда есть смысл разрешать этот шведский media-краулер.
Стоит прописать отдельную секцию для YandexImages — и робот перестаёт учитывать общий User-agent: *. Разбираем эту техническую ловушку и параллель с Googlebot-Image.
SeekportBot обслуживает Seekport — приватность-ориентированную поисковую альтернативу Google от известной SEO-компании SISTRIX. Разбираем, почему это позиционирование может влиять на решение allow/deny, и как настроить Crawl-delay.
Разрешение ботов Amazon может давать не только видимость в Alexa, но и +1% к партнёрской комиссии через программу Amazon Content Partners. Разбираем три бота Amazon, их разницу по AI-training и точную reverse DNS верификацию.
У Konturbot нет публичной страницы с политикой, но масштаб экосистемы СКБ Контур и сервис проверки контрагентов Контур.Фокус дают правдоподобную версию его назначения. Разбираем эту гипотезу и настройку доступа.
Повторные визиты на одни и те же страницы у TrendictionBot обычно означают, что кто-то из клиентов Trendiction/Talkwalker их мониторит. Разбираем эту логику и почему кэш robots.txt держится до 5 дней.
SEOkicks Bot собирает данные для одной из самых доступных backlink-баз в немецкоязычном сегменте. Разбираем, кому реально полезна видимость в этой базе, и уточняем паузу между запросами.
YandexImageResizer не индексирует картинки, а адаптирует их под конкретные сценарии показа, чаще мобильные. Разбираем, почему блокировка этого робота не выбивает изображения из индекса Яндекс Картинок.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.