Блог TrafficVeil

Статьи и руководства — страница 35

Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.

660 статей8 разделов
Уникальная иллюстрация бота bl.uk_lddc_bot: нежелательный прочие краулеры и сервисы
Боты6 мин

Bl.uk_lddc_bot в логах: архивный краулер Британской библиотеки

Разбираем bl.uk_lddc_bot — краулер Британской библиотеки, который архивирует UK-контент по закону об обязательном экземпляре. Показываем, как найти его в access.log, проверить подлинность и настроить запрет через robots.txt, nginx или TrafficVeil.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Superfeedr: легитимный rss и фиды
Боты7 мин

Superfeedr в логах сайта: кто это и почему бот приходит на фид

Разбираем, что такое Superfeedr — сервис, который читает RSS/Atom-ленты по подписке и рассылает подписчикам обновления. Объясняем, как отличить его от похожих фид-ботов, найти в access.log, проверить подлинность и настроить allow/deny через robots.txt, nginx или TrafficVeil.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Slackbot-LinkExpanding: легитимный превью ссылок в соцсетях
Боты5 мин

Slackbot-LinkExpanding: почему совпадение текста ссылки с URL может вообще отменить визит бота

Slackbot-LinkExpanding — первый этап unfurl-механики Slack, который разбирает HTML и метатеги страницы для карточки предпросмотра в чате. Разбираем малоизвестное правило официального протокола: если текст ссылки в сообщении совпадает с самим URL без протокола, разворачивание вообще не произойдёт, — а также лимит в 5 ссылок на сообщение и новую функциональность App Unfurls для сторонних приложений.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Img2dataset: нежелательный прочие краулеры и сервисы
Боты6 мин

Img2dataset: инструмент, на котором построен LAION-5B — и единственный реально работающий способ защиты от него

img2dataset — открытый Python-инструмент для массового скачивания изображений в датасеты машинного обучения, на котором строились крупнейшие открытые датасеты вроде LAION-5B (5,86 млрд пар изображение-текст). Разбираем, почему это не единый централизованный бот, а инструмент, который запускает кто угодно, и единственный реально работающий метод защиты — HTTP-заголовок X-Robots-Tag: noai, встроенный в сам инструмент по умолчанию.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Sentry: легитимный прочие краулеры и сервисы
Боты6 мин

SentryUptimeBot: мониторинг, который может незаметно съедать вашу же квоту ошибок в Sentry

Sentry — известная платформа мониторинга ошибок и производительности приложений, а её функция Uptime Monitoring интегрирована с трассировкой запросов: при обнаружении простоя бот связывает Uptime Issue с конкретными ошибками. Разбираем важную техническую тонкость — если сайт сам использует Sentry SDK, проверки доступности по умолчанию попадают в общую квоту транзакций, — и официальное предупреждение о ложных алертах из-за блокировки на уровне хостинга.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота RSS.Social: легитимный rss и фиды
Боты5 мин

RSS.Social: вероятно, мост в Fediverse — и что показало недельное наблюдение за одним RSS-фидом

Имя RSS.Social указывает на узнаваемую категорию инструментов — мосты между RSS-фидами и федеративными соцсетями вроде Mastodon, хотя конкретный оператор не идентифицирован. Разбираем эту категорию через призму недавнего наблюдения независимого блогера, насчитавшего свыше 50 разных клиентов за неделю мониторинга одного RSS-фида, и как работает типичный мост RSS → Fediverse.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота AwarioSmartBot: нежелательный прочие краулеры и сервисы
Боты5 мин

AwarioSmartBot и AwarioRssBot: 13 миллиардов страниц в день — и почему это не Googlebot

Семейство краулеров Awario (AwarioBot, AwarioSmartBot, AwarioRssBot) обходит свыше 13 миллиардов веб-страниц ежедневно для платформы социального прослушивания брендов — с редкой для этой категории прозрачностью официальной документации. Разбираем, почему повторные визиты нетипичны для этих ботов, официальный запрет на верификацию по IP-диапазонам, и что означает частота визитов конкретному сайту.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота Innologica: легитимный прочие краулеры и сервисы
Боты5 мин

Innologica: это тот же бот, что и inoreader.com — компания-разработчик известного RSS-ридера с миллионом пользователей

Innologica — не безымянная инфраструктура, а компания-разработчик Inoreader, одного из крупнейших RSS-ридеров. Разбираем две разные функциональные роли одного краулера — регулярный опрос подписанных фидов и точечный fetch превью при шеринге ссылки, — и почему строки innologica и inoreader.com стоит рассматривать как одного и того же оператора под разными именами.

12 авг. 2026 г.Читать
Уникальная иллюстрация бота BackupLand: легитимный прочие краулеры и сервисы
Боты5 мин

BackupLand: имя намекает на резервное копирование — но проверьте, не ваш ли это сервис, прежде чем блокировать

Оператор BackupLand не поддаётся уверенной идентификации в открытых источниках, но само название указывает на вероятную категорию — сервисы резервного копирования сайтов, рекурсивно сохраняющие снимки страниц. Разбираем конкретный практический сценарий, который стоит исключить в первую очередь: не заказывал ли кто-то в организации бэкап именно этого сайта через сторонний сервис, прежде чем реагировать блокировкой.

12 авг. 2026 г.Читать
Справочник

Энциклопедия ботов

618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.

Открыть справочник
Защита

Атака на прикладном уровне

Как выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.

Защита от DDoS L7

Начните бесплатно — платите потом

Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

Не требуется карта · быстрый старт · апгрейд по мере роста
TrafficVeil