Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
Разбираем, что означает User-Agent jetpack в access.log — служебный трафик плагина Automattic для WordPress-сайтов. Показываем, как отличить легитимный Jetpack от спуфинга, найти его в логах и настроить allow/deny через firewall и TrafficVeil.
Разбираем bl.uk_lddc_bot — краулер Британской библиотеки, который архивирует UK-контент по закону об обязательном экземпляре. Показываем, как найти его в access.log, проверить подлинность и настроить запрет через robots.txt, nginx или TrafficVeil.
Разбираем, что такое Superfeedr — сервис, который читает RSS/Atom-ленты по подписке и рассылает подписчикам обновления. Объясняем, как отличить его от похожих фид-ботов, найти в access.log, проверить подлинность и настроить allow/deny через robots.txt, nginx или TrafficVeil.
Slackbot-LinkExpanding — первый этап unfurl-механики Slack, который разбирает HTML и метатеги страницы для карточки предпросмотра в чате. Разбираем малоизвестное правило официального протокола: если текст ссылки в сообщении совпадает с самим URL без протокола, разворачивание вообще не произойдёт, — а также лимит в 5 ссылок на сообщение и новую функциональность App Unfurls для сторонних приложений.
img2dataset — открытый Python-инструмент для массового скачивания изображений в датасеты машинного обучения, на котором строились крупнейшие открытые датасеты вроде LAION-5B (5,86 млрд пар изображение-текст). Разбираем, почему это не единый централизованный бот, а инструмент, который запускает кто угодно, и единственный реально работающий метод защиты — HTTP-заголовок X-Robots-Tag: noai, встроенный в сам инструмент по умолчанию.
Sentry — известная платформа мониторинга ошибок и производительности приложений, а её функция Uptime Monitoring интегрирована с трассировкой запросов: при обнаружении простоя бот связывает Uptime Issue с конкретными ошибками. Разбираем важную техническую тонкость — если сайт сам использует Sentry SDK, проверки доступности по умолчанию попадают в общую квоту транзакций, — и официальное предупреждение о ложных алертах из-за блокировки на уровне хостинга.
Имя RSS.Social указывает на узнаваемую категорию инструментов — мосты между RSS-фидами и федеративными соцсетями вроде Mastodon, хотя конкретный оператор не идентифицирован. Разбираем эту категорию через призму недавнего наблюдения независимого блогера, насчитавшего свыше 50 разных клиентов за неделю мониторинга одного RSS-фида, и как работает типичный мост RSS → Fediverse.
Семейство краулеров Awario (AwarioBot, AwarioSmartBot, AwarioRssBot) обходит свыше 13 миллиардов веб-страниц ежедневно для платформы социального прослушивания брендов — с редкой для этой категории прозрачностью официальной документации. Разбираем, почему повторные визиты нетипичны для этих ботов, официальный запрет на верификацию по IP-диапазонам, и что означает частота визитов конкретному сайту.
Innologica — не безымянная инфраструктура, а компания-разработчик Inoreader, одного из крупнейших RSS-ридеров. Разбираем две разные функциональные роли одного краулера — регулярный опрос подписанных фидов и точечный fetch превью при шеринге ссылки, — и почему строки innologica и inoreader.com стоит рассматривать как одного и того же оператора под разными именами.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.