update the page of live

Signed-off-by: faweizhao26 <faweizhao@kubesphere.io>
This commit is contained in:
faweizhao26 2022-06-14 18:40:13 +08:00
parent 56396c169e
commit 7a9995b343
4 changed files with 84 additions and 8 deletions

View File

@ -10,22 +10,29 @@ section1:
section2:
image: /images/live/cloudnative-live-banner.png
url: ./jinaai0602-live/
url: ./pulsar0609-live/
notice:
title: 初探 KubeSphere x Apache Pulsar —— 打造云原生分布式消息流平台
title: 云原生数据工厂——中海庭数字化转型之路
tag: 预告
time: 2022 年 06 月 09 日晚 8 点
time: 2022 年 06 月 16 日晚 8 点
base: 线上
url: ./pulsar0609-live/
url: ./headingdata0616-live/
over:
title: 容器原生虚拟化:从 KubeVirt 到 KSV 虚拟化
url: ./ksv0526-live/
title: 基于 KubeSphere 和 Thanos 构建可持久化存储的多集群监控系统
url: ./jinaai0602-live/
tag: 结束
section3:
videos:
- title: 初探 KubeSphere x Apache Pulsar —— 打造云原生分布式消息流平台
link: ./pulsar0609-live/
snapshot: https://pek3b.qingstor.com/kubesphere-community/images/pulsar0609-live-cover.png
type: iframe
createTime: 2022.06.09
group: 直播回放
- title: 基于 KubeSphere 和 Thanos 构建可持久化存储的多集群监控系统
link: ./jinaai0602-live/
snapshot: https://pek3b.qingstor.com/kubesphere-community/images/jinaai0602-live-cover.png

View File

@ -0,0 +1,37 @@
---
title: 云原生数据工厂——中海庭数字化转型之路
description: 本次分享将会介绍中海庭在业务上引入以及实践云原生技术的过程,作为实例会讲解 Argo 结合 KubeSphere 在数据处理上的应用实践。
keywords: KubeSphere, Kubernetes, 云原生数字化转型, Argo
css: scss/live-detail.scss
section1:
snapshot:
videoUrl:
type: iframe
time: 2022-06-16 20:00-21:00
timeIcon: /images/live/clock.svg
base: 线上
baseIcon: /images/live/base.svg
---
## 分享内容简介
本次分享将会介绍中海庭在业务上引入以及实践云原生技术的过程,作为实例会讲解 Argo 结合 KubeSphere 在数据处理上的应用实践。
## 讲师简介
郭杨斌,中海庭云端平台科室经理,原东风畅行斑马快跑架构负责人。
许维明,中海庭云端平台架构师,原 IBM DevOps 架构师。
## 分享大纲
![](https://pek3b.qingstor.com/kubesphere-community/images/headingdata0616-live.png)
## 直播时间
2022 年 06 月 16 日 20:00-21:00
## 直播地址
B 站 http://live.bilibili.com/22580654

View File

@ -6,7 +6,7 @@ css: scss/live-detail.scss
section1:
snapshot:
videoUrl:
videoUrl: //player.bilibili.com/player.html?aid=727291246&bvid=BV1xS4y1i7Yx&cid=742553663&page=1&high_quality=1
type: iframe
time: 2022-06-09 20:00-21:00
timeIcon: /images/live/clock.svg
@ -31,4 +31,36 @@ Apache Pulsar 是新一代云原生分布式消息队列,其独有的存储计
## 直播地址
B 站 http://live.bilibili.com/22580654
B 站 http://live.bilibili.com/22580654
## PPT 下载
可扫描官网底部二维码,关注 「KubeSphere云原生」公众号后台回复 `20220609` 即可下载 PPT。
## Q & A
### Q1Pulsar 是如何使用分层分片的架构来解决使用和运维的痛点的?
AApache Pulsar 采用的计算存储分离的架构,首先可以更好的利用资源,根据计算层和存储层对资源的要求不同灵活搭配,以及使用情况进行细粒度资源调整。其次分片模式,突破以往 Topic 数据与机器强绑定的模式,避免了数据分布不均衡和扩容时带来大量数据迁移再平衡的问题,极大提升运维体验。
### Q2Pulsar 能够满足大数据计算框架中的批流一体的存储需求吗?
A本身Apache Pulsar 采用 Bookeeper 提供了流数据的存储,同时 Pulsar 提供了分级存储能力,可以将 Bookeeper 里的数据卸载到更低廉的存储介质中,例如 HDFS、S3 等,并且提供统一的读取接口,这样基于 Pulsar 能够提供完整的业务数据, 因此像大数据计算框架 Flink 可以利用 pulsar-flink-connector 实现批流计算。
### Q3Pulsar 和 Spark、Flink 以及批处理中的 Presto 和 Hive 结合有没有实践案例?
ABigo 基于 Pulsar 和 Flink 构建了日百亿量级实时数仓,覆盖实时指标计算、用户特征实时更新等场景。智联招聘基于 Pulsar 和 Presto 构建了数据分析平台,支撑了内部报表统计和数据分析。
### Q4Apache Pulsar 如何保证消息不丢不重?
A当 broker 接收到写入请求时,会将数据写入到多个 bookie 节点中也就是多副本保证bookie 节点收到数据并且持久化成功后返回给 broker 成功应答当收到一半以上节点的成功应答后返回给客户端成功代表该数据写入成功。在可靠性方面bookie 提供机架感知能力和集群间的跨地域复制能里,来加强数据的可靠性。
消息不重体现在两个方面,生产端的消息不重,对于单分区 Topic 而言,生产消息时可以指定递增的 sequenceIdbroker 端根据当前的 sequenceId 和写入的 sequenceId 进行比较,如果小小于当前的 sequenceId 则认为已写入,需要去重。消费端的不重相对要复杂些,因为一个消息是否需要再次消费,取决于业务逻辑处理的情况和 ACK 的时机,例如消费端拉取到消息后,业务逻辑处理超时了,或者业务逻辑处理成功后消费端异常退出了,这种情况一般通过业务幂等来解决 ,当然也可以通过事务来处理。
### Q5Apache Pulsar 的协议有没有弱点?
AApache Pulsar 自身有一套私有化协议,从性能上来看,对于消息体内容采用二进制透传的模式保证性能;从安全上来看,提供了丰富的身份认证和操作鉴权能力;从扩展性上来看,抽象了协议接口,可以方便集成其它协议,目前已支持 Kafka、AMDP、MQTT、RocketMQ 等协议。
### Q6StreamNative 花费了如此多的时间与精力在 Pulsar 与其社区生态上,是否会造成 Pulsar 与商业公司绑定,削弱项目的开源协作属性呢?
AApache Pulsar 项目是 Apache 基金会顶级项目,本身项目的代码所有权、品牌和商标等都属于 Apache 软件基金会,日常由 PMC 管理StreamNative 组织举办的 Pulsar Summit 、Pulsar Hackathon 每次举办都是经过 PMC 审核通过,组委会成员也要遵循多样性原则进行;日常 Pulsar 重要功能、版本发布,也都是经过社区严格的开发流程、投票流程进行。最根本的一点是 Apache 基金会的项目贡献,都是以个人名义贡献,贡献者只代表个人,这点和其他基金会有区别。 当前 Apache 软件基金会项目的运行规则和机制都保证了项目的独立性。

Binary file not shown.

Before

Width:  |  Height:  |  Size: 298 KiB

After

Width:  |  Height:  |  Size: 300 KiB