For investors
股价:
5.36 美元 %
认识达内从这里开始
认真做教育 专心促就业
随着互联网的不断发展，越来越多的人都在学习大数据架构技术，下面我们就通过案例分析来了解一下，大数据Kappa架构应用优缺点分析。
Kappa架构核心是通过改进流式计算架构的计算、存储部分来解决全量的问题，使得实时计算、批处理可以共用一套代码。Kappa架构认为对于历史数据的重复计算几率是很小的，即使需要，可以通过启用不同的实例的方式来做重复计算。
其中Kappa的核心思想是：
用Kafka或者类似MQ队列系统收集各种各样的数据，需要几天的数据量就保存几天。
当需要全量重新计算时，重新起一个流计算实例，从头开始读取数据进行处理，并输出到一个新的结果存储中。
当新的实例做完后，停止老的流计算实例，并把一些老的结果删除。
Kappa架构的优点在于将实时和离线代码统一起来，方便维护而且统一了数据口径。
Kappa架构与Lamabda架构相比，其优缺点是：
Lambda架构需要维护两套跑在批处理和实时流上的代码，两个结果还需要做merge，Kappa架构下只维护一套代码，在需要时候才跑全量数据。
Kappa架构下可以同时启动很多实例来做重复计算，有利于算法模型调整优化与结果对比，Lamabda架构下，代码调整比较复杂。所以kappa架构下，技术人员只需要维护一个框架就可以，成本很小。
kappa每次接入新的数据类型格式是需要定制开发接入程序，接入周期会变长。
Kappa这种架构过度依赖于Redis、Hbase服务，两种存储结构又不是满足全量数据存储的，用来做全量存储会显得浪费资源。
【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。
< 上一篇：合肥达内培训零基础学mysql需要掌握哪些知识
2024-11-01
免费试听课程
- 全部课程
- IT课程
- 设计课程
- 运营课程
4578
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
- 开课名称
- 开班时间
- 抢座
- 咨询
- 开课名称
- 开班时间
- 抢座
- 咨询
-
- Java全链路开发
- 11月27日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 人工智能工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 11月27日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 11月27日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 11月27日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 11月27日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 11月27日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 11月27日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 11月27日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 11月27日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 11月27日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 11月27日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 11月27日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 11月27日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 11月27日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 11月27日
- 火热抢座中
- 立即咨询
预约申请试听课
开设课程
开课城市
友情链接
Copyright © 2024 Tedu.cn All Rights Reserved 京ICP备08000853号-56 京公网安备 11010802029508号达内时代科技集团有限公司 版权所有
注：学员信息+企业信息均来自达内教育内部CRM系统真实统计，非宣传使用。
课程适用人群：成人
400-996-5531
lihm@tedu.cn
