Блог TrafficVeil

Статьи и руководства — страница 66

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота GoogleProducer: легитимный прочие краулеры и сервисы
Боты5 мин

GoogleProducer: проверка запросов и изменения Google News

Что документировано о GoogleProducer, почему ручная отправка фидов Publisher Center больше не служит актуальной инструкцией и как проверить источник запросов.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота GoogleOther Video: нежелательный прочие краулеры и сервисы
Боты5 мин

GoogleOther-Video: назначение, проверка и управление обходом

Как проверить GoogleOther-Video, выбрать отдельную политику для видео и корректно разделить альтернативные правила robots.txt и ограничения запросов.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота ev-crawler: нежелательный прочие краулеры и сервисы
Боты5 мин

Кто следит за вашими ценами: разбор ev-crawler от Headline

ev-crawler собирает открытые данные о ценах и каталогах для конкурентной разведки клиентов Headline. Смотрим, как он работает, кому это выгодно и почему блокировка иногда даёт вам тактическое преимущество, а не только экономит трафик.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота GoogleDocs: легитимный прочие краулеры и сервисы
Боты5 мин

Кто-то сослался на вас в Google Docs — отсюда и трафик GoogleDocs в логах

Разбираем, как встраивание ссылки в чужой документ или таблицу превращается в строку googledocs в access.log, и почему это не похоже на типичный автоматический обход.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота GoogleAgent-Mariner: нежелательный прочие краулеры и сервисы
Боты5 мин

«GoogleAgent-Mariner» — имя, под которым в логах вы, скорее всего, ничего не найдёте

Разбираемся, почему популярное название бота Project Mariner на деле не совпадает с реальным токеном в трафике, и что из-за этого может незаметно сломаться в правилах блокировки.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота Google-PageRenderer: легитимный прочие краулеры и сервисы
Боты5 мин

Google-PageRenderer: след давно закрытого сервиса Google+

Google-PageRenderer подтверждённо принадлежит Google, но исторически связан с рендерингом сниппетов для Google+ — продукта, закрытого много лет назад. Разбираем, откуда трафик и стоит ли вообще его трогать.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота br-crawler: нежелательный прочие краулеры и сервисы
Боты4 мин

Безымянный br-crawler: когда молчание оператора — уже сигнал

У токена br-crawler нет ни подтверждённого владельца, ни документации. Разбираем, как действовать при полном отсутствии данных об операторе и на что смотреть перед тем, как закрыть доступ.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота Google-NotebookLM: нежелательный прочие краулеры и сервисы
Боты6 мин

Google-NotebookLM → Google-GeminiNotebook: что изменилось

Актуальное имя фетчера Gemini Notebook, его назначение, проверка источника и границы robots.txt и фильтрации по User-Agent. Без предположений о частоте запросов.

7 авг. 2026 г.Читать
Уникальная иллюстрация бота VelenPublicWebCrawler: нежелательный прочие краулеры и сервисы
Боты5 мин

VelenPublicWebCrawler: краулер Hunter.io — стоит ли доверять его обещаниям про robots.txt

Разбор VelenPublicWebCrawler — краулера Velen для сервиса Hunter.io. Кому реально выгодны собранные данные, почему заявление о полном соблюдении robots.txt не стоит принимать на веру и как настроить блокировку.

7 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil