diff --git a/content/zh/live/_index.md b/content/zh/live/_index.md index 73e1a1707..8447035f8 100644 --- a/content/zh/live/_index.md +++ b/content/zh/live/_index.md @@ -10,22 +10,29 @@ section1: section2: image: /images/live/cloudnative-live-banner.png - url: ./jinaai0602-live/ + url: ./pulsar0609-live/ notice: - title: 初探 KubeSphere x Apache Pulsar —— 打造云原生分布式消息流平台 + title: 云原生数据工厂——中海庭数字化转型之路 tag: 预告 - time: 2022 年 06 月 09 日晚 8 点 + time: 2022 年 06 月 16 日晚 8 点 base: 线上 - url: ./pulsar0609-live/ + url: ./headingdata0616-live/ over: - title: 容器原生虚拟化:从 KubeVirt 到 KSV 虚拟化 - url: ./ksv0526-live/ + title: 基于 KubeSphere 和 Thanos 构建可持久化存储的多集群监控系统 + url: ./jinaai0602-live/ tag: 结束 section3: videos: + - title: 初探 KubeSphere x Apache Pulsar —— 打造云原生分布式消息流平台 + link: ./pulsar0609-live/ + snapshot: https://pek3b.qingstor.com/kubesphere-community/images/pulsar0609-live-cover.png + type: iframe + createTime: 2022.06.09 + group: 直播回放 + - title: 基于 KubeSphere 和 Thanos 构建可持久化存储的多集群监控系统 link: ./jinaai0602-live/ snapshot: https://pek3b.qingstor.com/kubesphere-community/images/jinaai0602-live-cover.png diff --git a/content/zh/live/headingdata0616-live.md b/content/zh/live/headingdata0616-live.md new file mode 100644 index 000000000..72223fe7f --- /dev/null +++ b/content/zh/live/headingdata0616-live.md @@ -0,0 +1,37 @@ +--- +title: 云原生数据工厂——中海庭数字化转型之路 +description: 本次分享将会介绍中海庭在业务上引入以及实践云原生技术的过程,作为实例会讲解 Argo 结合 KubeSphere 在数据处理上的应用实践。 +keywords: KubeSphere, Kubernetes, 云原生数字化转型, Argo +css: scss/live-detail.scss + +section1: + snapshot: + videoUrl: + type: iframe + time: 2022-06-16 20:00-21:00 + timeIcon: /images/live/clock.svg + base: 线上 + baseIcon: /images/live/base.svg +--- +## 分享内容简介 + +本次分享将会介绍中海庭在业务上引入以及实践云原生技术的过程,作为实例会讲解 Argo 结合 KubeSphere 在数据处理上的应用实践。 + +## 讲师简介 + +郭杨斌,中海庭云端平台科室经理,原东风畅行斑马快跑架构负责人。 + +许维明,中海庭云端平台架构师,原 IBM DevOps 架构师。 + +## 分享大纲 + +![](https://pek3b.qingstor.com/kubesphere-community/images/headingdata0616-live.png) + +## 直播时间 + +2022 年 06 月 16 日 20:00-21:00 + +## 直播地址 + +B 站 http://live.bilibili.com/22580654 + diff --git a/content/zh/live/pulsar0609-live.md b/content/zh/live/pulsar0609-live.md index 48e261da3..a4e0de62d 100644 --- a/content/zh/live/pulsar0609-live.md +++ b/content/zh/live/pulsar0609-live.md @@ -6,7 +6,7 @@ css: scss/live-detail.scss section1: snapshot: - videoUrl: + videoUrl: //player.bilibili.com/player.html?aid=727291246&bvid=BV1xS4y1i7Yx&cid=742553663&page=1&high_quality=1 type: iframe time: 2022-06-09 20:00-21:00 timeIcon: /images/live/clock.svg @@ -31,4 +31,36 @@ Apache Pulsar 是新一代云原生分布式消息队列,其独有的存储计 ## 直播地址 -B 站 http://live.bilibili.com/22580654 \ No newline at end of file +B 站 http://live.bilibili.com/22580654 + +## PPT 下载 + +可扫描官网底部二维码,关注 「KubeSphere云原生」公众号,后台回复 `20220609` 即可下载 PPT。 + +## Q & A + +### Q1:Pulsar 是如何使用分层分片的架构来解决使用和运维的痛点的? + +A:Apache Pulsar 采用的计算存储分离的架构,首先可以更好的利用资源,根据计算层和存储层对资源的要求不同灵活搭配,以及使用情况进行细粒度资源调整。其次分片模式,突破以往 Topic 数据与机器强绑定的模式,避免了数据分布不均衡和扩容时带来大量数据迁移再平衡的问题,极大提升运维体验。 + +### Q2:Pulsar 能够满足大数据计算框架中的批流一体的存储需求吗? + +A:本身Apache Pulsar 采用 Bookeeper 提供了流数据的存储,同时 Pulsar 提供了分级存储能力,可以将 Bookeeper 里的数据卸载到更低廉的存储介质中,例如 HDFS、S3 等,并且提供统一的读取接口,这样基于 Pulsar 能够提供完整的业务数据, 因此像大数据计算框架 Flink 可以利用 pulsar-flink-connector 实现批流计算。 + +### Q3:Pulsar 和 Spark、Flink 以及批处理中的 Presto 和 Hive 结合有没有实践案例? + +A:Bigo 基于 Pulsar 和 Flink 构建了日百亿量级实时数仓,覆盖实时指标计算、用户特征实时更新等场景。智联招聘基于 Pulsar 和 Presto 构建了数据分析平台,支撑了内部报表统计和数据分析。 + +### Q4:Apache Pulsar 如何保证消息不丢不重? + +A:当 broker 接收到写入请求时,会将数据写入到多个 bookie 节点中,也就是多副本保证,bookie 节点收到数据并且持久化成功后返回给 broker 成功应答,当收到一半以上节点的成功应答后,返回给客户端成功,代表该数据写入成功。在可靠性方面,bookie 提供机架感知能力和集群间的跨地域复制能里,来加强数据的可靠性。 + +消息不重体现在两个方面,生产端的消息不重,对于单分区 Topic 而言,生产消息时可以指定递增的 sequenceId,broker 端根据当前的 sequenceId 和写入的 sequenceId 进行比较,如果小小于当前的 sequenceId 则认为已写入,需要去重。消费端的不重相对要复杂些,因为一个消息是否需要再次消费,取决于业务逻辑处理的情况和 ACK 的时机,例如消费端拉取到消息后,业务逻辑处理超时了,或者业务逻辑处理成功后消费端异常退出了,这种情况一般通过业务幂等来解决 ,当然也可以通过事务来处理。 + +### Q5:Apache Pulsar 的协议有没有弱点? + +A:Apache Pulsar 自身有一套私有化协议,从性能上来看,对于消息体内容采用二进制透传的模式保证性能;从安全上来看,提供了丰富的身份认证和操作鉴权能力;从扩展性上来看,抽象了协议接口,可以方便集成其它协议,目前已支持 Kafka、AMDP、MQTT、RocketMQ 等协议。 + +### Q6:StreamNative 花费了如此多的时间与精力在 Pulsar 与其社区生态上,是否会造成 Pulsar 与商业公司绑定,削弱项目的开源协作属性呢? + +A:Apache Pulsar 项目是 Apache 基金会顶级项目,本身项目的代码所有权、品牌和商标等都属于 Apache 软件基金会,日常由 PMC 管理,StreamNative 组织举办的 Pulsar Summit 、Pulsar Hackathon 每次举办都是经过 PMC 审核通过,组委会成员也要遵循多样性原则进行;日常 Pulsar 重要功能、版本发布,也都是经过社区严格的开发流程、投票流程进行。最根本的一点是 Apache 基金会的项目贡献,都是以个人名义贡献,贡献者只代表个人,这点和其他基金会有区别。 当前 Apache 软件基金会项目的运行规则和机制都保证了项目的独立性。 \ No newline at end of file diff --git a/static/images/live/cloudnative-live-banner.png b/static/images/live/cloudnative-live-banner.png index 4d78c0a4e..dca1a843b 100644 Binary files a/static/images/live/cloudnative-live-banner.png and b/static/images/live/cloudnative-live-banner.png differ