认识达内从这里开始

数据湖技术随着互联网的不断发展而被越来越多的程序员掌握，今天合肥达内IT培训就给大家简单介绍一下，数据湖技术应用需要具备哪些能力。

数据湖是一种企业数据架构的实现方式，在物理实现上是一个存储库，允许用户以任意规模存储所有结构化和非结构化数据，并支持对数据进行快速加工和分析。用户可以按原样存储数据(无需先对数据进行结构化处理)，并运行不同类型的分析(从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。

初创建数据湖的目的是应对数据仓库无法处理数量、速度和种类不断增加的大数据的情况。虽然数据湖比数据仓库慢，但它们的价格也更低廉，因为在采集之前几乎不需要数据准备。与数据仓库或数据集市不同的是，数据湖上存储原始数据，通常为PB级别，一般没有复杂的业务建模，主要做一些基础的数据治理或者基础性的模型建设工作，更多的为企业内部提供一个公共的数据存储和探索能力，并为下游的集市、仓库或者中台提供数据与计算能力。很多企业会同时建设数据湖和数据仓库，从而保证更好的数据架构与用户体验。

数据湖支持广泛的用例，因为在收集数据时不需要定义数据的业务目标。数据湖可以存储结构化和非结构化数据，这种灵活的存储需求对于数据科学家、数据工程师和开发人员尤其有用，让他们能够访问数据进行数据发现练习和机器学习项目。数据科学家可以使用数据湖进行概念验证。机器学习应用程序可以从能够在同一个地方存储结构化和非结构化数据中受益，这是使用关系数据库系统无法实现的。数据湖也可以用于测试和开发大数据分析项目。当应用程序开发完成并识别出有用数据后，可以将数据导出到数据仓库以供操作使用，并且可以利用自动化来实现应用程序扩展。数据湖还可以用于数据备份和恢复，因为它们能够以低成本进行扩展。数据湖非常适合存储尚未定义业务需求的“以备不时之需”数据，现在存储这些数据意味着可以在以后出现新计划时使用。

从实现方式上看，目前Hadoop是常用的部署数据湖的技术，也有采用MPP+Hadoop的混合架构，近年也有一些基于公有云存储的数据湖方案出现和落地。

为了满足多样化的数据存储与分析的需求，在数据湖的建设中，我们需要设计确保落地后的数据湖具备以下4个关键能力：

数据整合能力

数据湖需要提供相关的工具或能力，可以整合包括各种关系数据库存储的结构化数据，以及从各个其他渠道(包括互联网、内部文档、传感器)等收集和存储非结构化数据，并且具备多样化的数据整合策略，包括实时、准实时、离线整合等，允许整合过程中的数据转换等能力。

数据计算能力

由于数据湖中积累了企业内部的多样化的数据，因为使用者可以打通内部各种数据，从而分析其中的数据规律，从而进一步指导和预测分析。因此，数据湖需要给使用者提供强大的数据计算能力，能够快速地从海量数据中检索到关键信息，或是能够做大量数据的碰撞找到关联关系，或是对非结构化数据进行深度的识别分析等，这些都需要数据湖的平台提供完善的数据计算能力。

数据治理能力

由于数据湖中汇集了原始数据，未做复杂的数据模型加工，因此可能存在湖内的数据本身有较多质量问题的情况，或者各个数据源头的标准不统一，因此不能很好地用于指导数据分析业务。因此，数据湖的建设者需要提供工具或计算能力给使用者，可以在数据湖内做进一步的数据治理，从而提高数据质量和价值。

数据服务能力

数据湖在设计的时候，需要充分考虑如何提供给更多的数据需求者来自助服务，用户可以在数据湖上发现数据、分析数据、改进数据以及终贡献数据，从而形成一个从数据到价值链路的闭环。在这个过程中，有效的数据资产目录可以有效地帮助用户来打通数据链路，而多租户服务能力是核心的技术要求。

除了以上4个核心的功能性需求以外，还需要关注一些重要的非功能性需求，包括：

互操作性

数据湖本身需要跟企业内部的各个数据系统有很好的互操作性，因此数据整合的工具或系统需要有良好的连接互通性，可以与关系数据库、NoSQL、实时数据系统、企业级对象存储等各个系统建立高效的数据交互通道。

有效的成本控制

由于数据湖本身的特点，存储的数据量一般比较大，数据价值密度低，因此需要非常关注本身的成本控制，总体方案上需要较低的硬件成本和运维成本，以及较好的资源使用效率，有较好的弹性伸缩，能够支持计量计费等。

多租户

数据湖一般会开放给企业内多个部门或组织共用，而每个使用者本身运行的业务各自有特殊性，譬如机器学习的任务计算复杂度高，CPU消耗大，而检索类任务磁盘IO密集使用，面向多个用户同时提供服务，如果要保证用户体验，数据湖底层需要提供良好的资源共享与隔离能力。

业务连续性

此外，高可用与灾备能力也是数据湖的一个关键要素，在技术的设计上需要充分考虑相关的技术要求，从而实现极端故障下的业务快速恢复能力。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!请读者仅作参考。更多内容请加抖音太原达内IT培训学习了解。