认识达内从这里开始

由于大数据应用场景的复杂性：既包括针对大量历史数据的分析探查也包括物联网等场景的实时分析场景，以及为满足这些需求场景涉及到的数据存储、数据计算和数据查询等诞生的不同技术栈，大数据开发设计总体上是围绕着如何保证系统的可靠性、可扩展性和可维护性而展开，本文主要针对的是分治与扩展模式的介绍。

分布式系统采用分治策略将大问题分解为可容易解决的小问题，从而发挥分布式集群的并行计算能力。分治策略是实现分布式的基础。下面从分布式存储、分布式计算和分布式查询3个场景来解释：

1 分布式存储

HDFS分布式存储通过主从架构，引入NameNode和DataNode，将大文件拆分为大小不超过128M的文件块，从而将大文件分布在不同的DataNode上，然后在NameNode维护相应文件包含的块数据文件路径等元信息。客户端通过NameNode读写相应文件。

2 分布式计算

MapReduce将大任务分解成Map和Reudce两个阶段，借住分布式集群的并行计算能力，将多个Map子任务并行计算的中间结果通过Reduce过程得到最终结果。MapReduce既是一个并行计算与运行软件框架(Software Framework)又是一个并行程序设计模型与方法(Programming Model & Methodology)。作为并行计算软件框架，它能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。作为并行程序设计模型与方法，它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理 。

3 分布式查询

不同于OLTP，OLAP不特别关心对数据进行输入、修改等事务性处理，而是关心对已有的大量数据进行多维度的、复杂的分析，基于共享全部资源，如总线，内存和I/O系统等的对称多处理器结构SMP(Symmetric Multi-Processor)由于每个 CPU 必须通过相同的内存总线访问相同的内存资源，随着 CPU 数量的增加，内存访问冲突将迅速增加，最终阻碍了其扩展能力。为解决SMP 在扩展能力上的限制，NUMA(Non-Uniform Memory Access)将多个CPU模块集成到一个服务器内部，MPP (Massively Parallel Processing)，大规模并行处理系统由许多松耦合的处理单元组成的，每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。

大规模并行分析(MPP)数据库(Analytical Massively Parallel Processing (MPP) Databases)是针对分析工作负载进行了优化的数据库：聚合和处理大型数据集。MPP数据库往往是列式的，因此MPP数据库通常将每一列存储为一个对象，而不是将表中的每一行存储为一个对象(事务数据库的功能)。这种体系结构使复杂的分析查询可以更快，更有效地处理。

这些分析数据库将其数据集分布在许多机器或节点上，以处理大量数据(因此得名)。这些节点都包含自己的存储和计算功能，从而使每个节点都可以执行查询的一部分。这类系统比较多，如Impala、PrestoDB、Clickhouse、Greenpulm、Druid等，其中Impala、PrestoDB可以基于共享存储模式进行，以Impala为例描述其查询过程：

注册&订阅：当Impala启动时，所有Impalad节点会在Impala State Store中注册并订阅各个节点最新的健康信息以及负载情况。2. 提交查询：接受此次查询的ImpalaD作为此次的Coordinator，对查询的SQL语句进行分析，生成并执行任务树，不同的操作对应不同的PlanNode，如：SelectNode、 ScanNode、 SortNode、AggregationNode、HashJoinNode等等。

3. 获取元数据与数据地址：Coordinator通过查询数据库，或者HDFS文件获取到此次查询的数据库所在的具体位置，以及存储方式的信息

4. 分发查询任务：执行计划树里的每个原子操作由Plan Fragment组成，通常一句SQL由多个Fragment组成。Coordinator节点根据执行计划以及获取到的数据存储信息，通过调度器将Plan Fragment分发给各个Impalad实例并行执行。

5. 汇聚结果：Coordinator节点会不断向各个Impalad执行子节点获取计算结果，直到所有执行计划树的叶子节点执行完毕，并向父节点返回计算结果集。

6. Coordinator节点即执行计划数的根节点，汇聚所有查询结果后返回给用户。查询执行结束，注销此次查询服务。

从架构来看， NUMA 与 MPP 具有许多相似之处：它们都由多个节点组成，每个节点都具有自己的 CPU 、内存、 I/O ，节点之间都可以通过节点互联机制进行信息交互。那么它们的区别在哪里?通过分析下面 NUMA 和 MPP 服务器的内部架构和工作原理不难发现其差异所在。

首先是节点互联机制不同， NUMA 的节点互联机制是在同一个物理服务器内部实现的，当某个 CPU 需要进行远地内存访问时，它必须等待，这也是 NUMA 服务器无法实现 CPU 增加时性能线性扩展的主要原因。而 MPP 的节点互联机制是在不同的 SMP 服务器外部通过 I/O 实现的，每个节点只访问本地内存和存储，节点之间的信息交互与节点本身的处理是并行进行的。因此 MPP 在增加节点时性能基本上可以实现线性扩展。

其次是内存访问机制不同。在 NUMA 服务器内部，任何一个 CPU 可以访问整个系统的内存，但远地访问的性能远远低于本地内存访问，因此在开发应用程序时应该尽量避免远地内存访问。在 MPP 服务器中，每个节点只访问本地内存，不存在远地内存访问的问题。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请添加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。