Блог TrafficVeil

Статьи и руководства — страница 57

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота LinkupBot: нежелательный превью ссылок в соцсетях
Боты6 мин

LinkupBot цитирует источники — в отличие от многих AI-краулеров

LinkupBot не просто забирает контент для индекса Linkup — сайт может получать реальные цитирования в AI-ответах. Разбираем эту citation-модель, формирующийся стандарт TDMRep и путаницу с job-ботом LinkUp.com.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота MediatoolkitBot: нежелательный прочие краулеры и сервисы
Боты5 мин

Mediatoolkitbot заявляет о robots.txt, но вебмастер в этом усомнился

Determ утверждает, что их краулер уважает robots.txt, но реальный полевой отчёт вебмастера ставит это под вопрос. Разбираем масштаб сканирования (100+ млн источников) и когда упоминание в отчётах media monitoring может сыграть в плюс.

10 авг. 2026 г.Читать
Иллюстрация бота 2ip Bot: проверка URL и виджета на тёмном нордик-фоне
Боты4 мин

2ip bot запрашивает example.com даже на чужих доменах — что это значит

Полевые логи вебмастеров фиксируют неаккуратный шаблон запросов у 2ip bot и явное игнорирование robots.txt. Разбираем, как отличить настоящий трафик по поведению, а не только по строке UA.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота WebsiteInfoBot: нежелательный бот
Боты4 мин

Website-info.net-Robot: нишевый немецкий каталог без лишнего шума

Этот краулер собирает данные для карточек домена на небольшом немецком каталоге сайтов. Разбираем, когда такая видимость реально полезна, а когда — нет.

10 авг. 2026 г.Читать
Уникальная иллюстрация бота Statdom Bot: нежелательный бот
Боты4 мин

Statdom.ru/Bot честно предупреждает: robots.txt его не остановит

Оператор сам заявляет на официальной странице, что ограничить этого робота через robots.txt невозможно — прямая противоположность обычной практике. Разбираем, что это значит для настройки блокировки.

10 авг. 2026 г.Читать
Боты4 мин

Всплеск vkShare — это не атака, а виральность

vkShare забирает превью только в момент реального шеринга ссылки — резкий рост хитов почти всегда означает вирусный охват публикации. Разбираем, почему rate-limit лучше полного бана и как не сломать карточку в разгар роста.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота ICC-Crawler: нежелательный прочие краулеры и сервисы
Боты6 мин

ICC-Crawler служит науке, а не анонимной коммерции

За ICC-Crawler стоит государственный исследовательский институт Японии NICT, а не безымянный скрапер. Разбираем, почему решение allow/deny здесь скорее этическое, чем защитное, и как настроить доступ.

9 авг. 2026 г.Читать
Уникальная иллюстрация бота WebartexBot: нежелательный прочие краулеры и сервисы
Боты4 мин

WebArtexBot затерялся среди десятков таких же безымянных токенов

WebArtexBot встречается только в общих сборных списках блокировки без единого описания оператора. Разбираем, что можно извлечь из самого контекста, и как оценить поведение без официальных данных.

9 авг. 2026 г.Читать
Боты4 мин

Два разных noindex: не перепутайте настройку для Twingly Recon

Twingly Recon поддерживает noindex прямо в RSS/Atom-фиде — это не то же самое, что мета-тег для Google или Яндекса. Разбираем разницу и когда есть смысл разрешать этот шведский media-краулер.

9 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil