For investors
股价:
5.36 美元 %For investors
股价:
5.36 美元 %认真做教育 专心促就业
存储与计算是对物理资源不同纬度的需求,存储和计算分离的架构更加灵活,方便对存储和计算独立进行扩缩容,成本更优更具性价比。
大数据更加青睐存储计算分离的架构,体现在大数据生态更加丰富,由不同的框架解决不同的问题:计算层面有 spark/flink/presto, 存储层面有 hdfs/ozone/s3,数据管理层面有元数据管理的 hive catalog, 文件格式有 orc/parquet, 表格式 table format 有 hudi/iceberg/delta lake, 资源管理有 yarn/mesos/k8s等等;
大数据更加青睐存储计算分离的架构,也体现在一些传统的存储引擎也在进一步细化架构,支持存储与计算分离:如 NewSQL 数据库 TidB,在底层分为计算层 TiDB/TiSpark,存储层 TiKV/TiFlash,元数据层 PD; 如云原生消息系统 pulsa,在底层分为计算层 broker 和存储层 bookkeeper; 如 hdfs 的进化版 Ozone在底层支持对象存储;如消息系统 Kafka 也通过 tiered storage 支持本地存储和远端云端对象存储;
大数据更加青睐存储计算分离的架构,还体现在大数据集群整体在架构上也更灵活更适应存储与计算分离,比如星环的大数据平台 tdh 底层的 tos 云操作系统是基于k8s和docker的;再比如 Cloudear 的大数据平台 dcp 的公有云版 cdp public cloud 和私有云版 cdp private cloud,两者都是集群模式+容器模式,存储依赖集群模式中的集群,而计算依赖容器模式中的容器,存储有计算解耦可以独自进行扩缩容。(私有云版在底层分为 cdp private cloud base 和 cdp private cloud plus,其中base是集群模式,和原来 cdh/hdp 的架构相同;plus是容器模式,底层依托 openShift (底层是k8s)实现跨云多云环境中的容器管理;)!
合肥达内IT培训免费试听课程火热报名中,带你轻松入行,26大课程全国45个城市,129家中心均可就近学习,学完后,达内老师会帮助进行面试辅导,在面试前,就带你跨过可能存在的坑,让你入职更加顺利。
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!更多内容请添加danei0707学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。