Блог TrafficVeil

Статьи и руководства — страница 23

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота AddThis.com: легитимный прочие краулеры и сервисы
Боты7 мин

AddThis.com: бот сервиса, закрытого ещё в 2023 году

Oracle официально закрыл AddThis 31 мая 2023 года — а значит, легитимного трафика от этого бота сегодня быть практически не должно, вопреки формулировке «легитимный, решайте по бизнес-пользе». Разбираемся, почему узнаваемое, но уже неактивное имя бренда стало удобным прикрытием для маскировки, и почему заметный современный трафик под этим UA заслуживает подозрения, а не автоматического доверия.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота Cohere Training Data Crawler: нежелательный ai и llm-краулеры
Боты7 мин

Cohere Training Data Crawler: известный training-бот enterprise AI

Cohere — не безымянный оператор, а известная компания корпоративных языковых моделей, и её краулер официально задокументирован под именем Cohere-AI. Разбираемся, почему в логах стоит искать сразу два связанных токена, чтобы не упустить часть трафика, и почему здесь, в отличие от многих других ботов, robots.txt действительно работает.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота Chirp: легитимный прочие краулеры и сервисы
Боты6 мин

Chirp: скорее всего, ваш аптайм-мониторинг

Chirp принадлежит не безымянному сервису, а Binary Canary — сервису мониторинга доступности сайтов, работающему с 2010 года, и в большинстве случаев его подключает сам владелец сайта, чтобы получать уведомления о падениях. Разбираемся, почему регулярный, cron-подобный паттерн запросов здесь ожидаемое поведение, а не тревожный сигнал, и что делать, если подключение осталось от прежнего подрядчика.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота ContentBot: легитимный ai и llm-краулеры
Боты6 мин

ContentBot: скорее точечный fetcher, чем сборщик для AI

ContentBot принадлежит реальной AI-платформе генерации контента, а не безымянному AI-пайплайну, и её функция импорта URL для референса говорит о том, что обращения к сайтам, вероятно, привязаны к конкретному действию конкретного пользователя, а не к фоновому массовому обходу. Разбираемся, как отличить такой точечный fetcher-паттерн от систематического краулинга и почему это меняет оценку риска для вашего контента.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота ContextualBot: нежелательный прочие краулеры и сервисы
Боты6 мин

ContextualBot: вероятный оператор — Mobian, но без подтверждения

У ContextualBot нет официальной документации, но по совпадению названия и продуктовой линейки наиболее вероятный оператор — AI-платформа Mobian для контекстной безопасности бренда и оптимизации рекламы. Разбираемся, почему неравномерный, скачкообразный паттерн обхода характерен именно для такого типа AdTech-краулера, и когда allow может быть осмысленным решением для сайтов, зарабатывающих на программатик-рекламе.

21 авг. 2026 г.Читать
Боты7 мин

InternetArchiveBot: три сущности под одним именем

InternetArchiveBot в логах и разговорах путают сразу с тремя разными вещами — штатным краулером Wayback, ботом-редактором Википедии IABot и произвольным спуфингом под узнаваемое имя. Разбираемся, почему фактическая нагрузка от активности IABot чаще всего скрыта внутри archive.org_bot, и как отдельным вики-шаблоном redактор Wikipedia может остановить бота на конкретной статье, не трогая ваш robots.txt.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота MedialogiaBot: нежелательный прочие краулеры и сервисы
Боты6 мин

MedialogiaBot: краулер крупнейшей системы медиамониторинга РФ

MedialogiaBot принадлежит не безымянному оператору, а «Медиалогии» — лидеру российского рынка мониторинга СМИ и соцмедиа с продуктом в реестре отечественного ПО. Разбираемся, зачем компании, обрабатывающей 100 млн сообщений в сутки, нужен собственный краулер, и почему для большинства сайтов рекомендация остаётся прежней, несмотря на солидность оператора.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота Twitterbot: легитимный превью ссылок в соцсетях
Боты6 мин

Twitterbot в 2026 году: превью-карточки и тень Grok

Twitterbot остаётся легитимным и предсказуемым fetcher-ом превью-карточек X, а robots.txt для него действительно работает — редкость среди ботов в этой энциклопедии. Разбираемся, почему X всё же не публикует официальный список IP для верификации, и что означает для владельцев сайтов вхождение X в состав xAI с точки зрения потенциального AI-обучения на их контенте.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота Content Optimizer: легитимный ai и llm-краулеры
Боты6 мин

Content Optimizer: ещё один бот без подтверждённого имени

В отличие от Content Harmony и Content King — реальных SEO-компаний со схожими названиями — за токеном content optimizer не стоит ни один известный оператор: он встречается только в одном общем community-списке ботов без индивидуальной проверки. Разбираемся, почему это уже третий подобный случай в энциклопедии, и предлагаем провести ревизию всех записей из того же источника разом.

21 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil