Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Oracle официально закрыл AddThis 31 мая 2023 года — а значит, легитимного трафика от этого бота сегодня быть практически не должно, вопреки формулировке «легитимный, решайте по бизнес-пользе». Разбираемся, почему узнаваемое, но уже неактивное имя бренда стало удобным прикрытием для маскировки, и почему заметный современный трафик под этим UA заслуживает подозрения, а не автоматического доверия.
Cohere — не безымянный оператор, а известная компания корпоративных языковых моделей, и её краулер официально задокументирован под именем Cohere-AI. Разбираемся, почему в логах стоит искать сразу два связанных токена, чтобы не упустить часть трафика, и почему здесь, в отличие от многих других ботов, robots.txt действительно работает.
Chirp принадлежит не безымянному сервису, а Binary Canary — сервису мониторинга доступности сайтов, работающему с 2010 года, и в большинстве случаев его подключает сам владелец сайта, чтобы получать уведомления о падениях. Разбираемся, почему регулярный, cron-подобный паттерн запросов здесь ожидаемое поведение, а не тревожный сигнал, и что делать, если подключение осталось от прежнего подрядчика.
ContentBot принадлежит реальной AI-платформе генерации контента, а не безымянному AI-пайплайну, и её функция импорта URL для референса говорит о том, что обращения к сайтам, вероятно, привязаны к конкретному действию конкретного пользователя, а не к фоновому массовому обходу. Разбираемся, как отличить такой точечный fetcher-паттерн от систематического краулинга и почему это меняет оценку риска для вашего контента.
У ContextualBot нет официальной документации, но по совпадению названия и продуктовой линейки наиболее вероятный оператор — AI-платформа Mobian для контекстной безопасности бренда и оптимизации рекламы. Разбираемся, почему неравномерный, скачкообразный паттерн обхода характерен именно для такого типа AdTech-краулера, и когда allow может быть осмысленным решением для сайтов, зарабатывающих на программатик-рекламе.
InternetArchiveBot в логах и разговорах путают сразу с тремя разными вещами — штатным краулером Wayback, ботом-редактором Википедии IABot и произвольным спуфингом под узнаваемое имя. Разбираемся, почему фактическая нагрузка от активности IABot чаще всего скрыта внутри archive.org_bot, и как отдельным вики-шаблоном redактор Wikipedia может остановить бота на конкретной статье, не трогая ваш robots.txt.
MedialogiaBot принадлежит не безымянному оператору, а «Медиалогии» — лидеру российского рынка мониторинга СМИ и соцмедиа с продуктом в реестре отечественного ПО. Разбираемся, зачем компании, обрабатывающей 100 млн сообщений в сутки, нужен собственный краулер, и почему для большинства сайтов рекомендация остаётся прежней, несмотря на солидность оператора.
Twitterbot остаётся легитимным и предсказуемым fetcher-ом превью-карточек X, а robots.txt для него действительно работает — редкость среди ботов в этой энциклопедии. Разбираемся, почему X всё же не публикует официальный список IP для верификации, и что означает для владельцев сайтов вхождение X в состав xAI с точки зрения потенциального AI-обучения на их контенте.
В отличие от Content Harmony и Content King — реальных SEO-компаний со схожими названиями — за токеном content optimizer не стоит ни один известный оператор: он встречается только в одном общем community-списке ботов без индивидуальной проверки. Разбираемся, почему это уже третий подобный случай в энциклопедии, и предлагаем провести ревизию всех записей из того же источника разом.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.