Блог TrafficVeil

Статьи и руководства — страница 30

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота Chrome-Lighthouse: легитимный прочие краулеры и сервисы
Боты7 мин

Chrome-Lighthouse: аудит Google, а не безымянный сервисный бот

За токеном chrome-lighthouse в логах стоит открытый инструмент Google для аудита страниц по скорости, доступности и SEO — но с 2023 года часть такого трафика идёт вообще без этой метки в User-Agent, из-за чего фильтрация только по токену показывает не всю картину. Разбираемся, кто на самом деле запускает такие проверки — своя команда, сторонний мониторинг или случайный внешний аудитор через публичный PageSpeed Insights — и почему бездумная блокировка может незаметно сломать собственный мониторинг производительности.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота deadlinkchecker: легитимный превью ссылок в соцсетях
Боты7 мин

Deadlinkchecker в логах: сканер битых ссылок, а не превью-бот

Несмотря на соседство с превью-ботами соцсетей, deadlinkchecker на деле — инструмент DLC Websites для поиска неработающих ссылок, который рекурсивно обходит страницы сайта и проверяет каждую ссылку на 404/500. Разбираемся, чем это отличается от привычных OG-фетчеров, кто обычно стоит за такими визитами и как настроить доступ через robots.txt с поддержкой Crawl-delay.

21 авг. 2026 г.Читать
Боты8 мин

Chrome Prefetch Proxy в логах: не бот, а фича браузера

В логах это выглядит как ещё один автоматический клиент, но на деле — встроенный механизм Chrome, который предзагружает страницы из поисковой выдачи Google ещё до клика пользователя, пряча его IP через собственный прокси. Разбираемся, почему тут бессилен обычный robots.txt, чем его заменяет файл traffic-advice и когда предзагрузку действительно стоит ограничивать.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота SimplePie: легитимный прочие краулеры и сервисы
Боты7 мин

SimplePie в логах сайта: библиотека, фетчер и вопрос блокировки

Разбираемся, чем SimplePie-библиотека отличается от SimplePie-фетчера превью-ссылок, как их различить в access.log и когда стоит блокировать, а когда — нет.

21 авг. 2026 г.Читать
Уникальная иллюстрация бота wget: легитимный технические клиенты
Боты5 мин

Wget и robots.txt: правда сложнее, чем «обычно игнорирует»

По умолчанию wget на самом деле соблюдает robots.txt — но только при рекурсивном скачивании. Разбираем, когда файл вообще не запрашивается, и почему «нарушение» правил чаще осознанный выбор, а не баг.

14 авг. 2026 г.Читать
Уникальная иллюстрация бота archive.org_bot: легитимный веб-архивы
Боты5 мин

2017 год: когда Internet Archive публично отказался от robots.txt

Это не постепенный дрейф политики — Internet Archive официально объявил об отказе соблюдать robots.txt для Wayback Machine. Разбираем причину решения и почему ia_archiver сегодня уже не токен IA.

14 авг. 2026 г.Читать
Уникальная иллюстрация бота LoomlyBot: нежелательный прочие краулеры и сервисы
Боты6 мин

LoomlyBot в логах: превью для чужого контент-календаря

Разбираем LoomlyBot — на деле это бот превью ссылок платформы управления соцсетями Loomly, а не абстрактный сборщик данных. Показываем несоответствие текущей категоризации, как найти бота в access.log и почему allow по умолчанию логичнее блокировки.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Claude Web: нежелательный ai и llm-краулеры
Боты6 мин

Claude Web в логах: устаревший токен, не текущий Claude

Разбираем Claude Web — исторический токен Anthropic, официально исключённый из документации в феврале 2026 года вместе с anthropic-ai. Показываем четыре актуальных бота (ClaudeBot, Claude-SearchBot, Claude-User, Claude Code) и как правильно управлять видимостью сайта для Claude сегодня.

13 авг. 2026 г.Читать
Уникальная иллюстрация бота Claude Code: нежелательный ai и llm-краулеры
Боты6 мин

Claude Code в логах: разработчик, а не сборщик данных

Разбираем Claude Code — официально задокументированный бот Anthropic для их CLI-инструмента программирования, который запрашивает страницы по инициативе конкретного разработчика, а не собирает контент фоново. Показываем, почему IP-верификация здесь ненадёжна, и как настроить allow/deny.

13 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil