认识达内从这里开始

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

一个完整的集中式日志系统，需要包含以下几个主要特点：

收集-能够采集多种来源的日志数据

传输-能够稳定的把日志数据传输到中央系统

存储-如何存储日志数据

分析-可以支持 UI 分析

警告-能够提供错误报告，监控机制

ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。

数据存储：MySQL、HDFS、HBase、Redis、MongoDB

MySQL ： Hive元数据库存储在MySQL，处理完的报表数据存储在MySQL中，供前端显示，而数据本身多存储在HDFS等分布式文件系统上。

HBase： 是一种构建在HDFS之上的 分布式、面向列 的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。

HBase的特点：

大：一个表可以有上亿行，上百万列。

面向列：面向列表(簇)的存储和权限控制，列(簇)独立检索。

稀疏：对于为空(NULL)的列，并不占用存储空间，因此，表可以设计的非常稀疏。

无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表中不同的行可以有截然不同的列。

数据多版本：每个单元中的数据可以有多个版本，默认情况下，版本号自动分配，版本号就是单元格插入时的时间戳。

数据类型单一：HBase中的数据都是字符串，没有类型。

HBase 与 HDFS都是存储数据，他们有啥区别呢：

HDFS适合批处理场景

不支持数据随机查找

不适合增量数据处理

不支持数据更新

到此处，是不是你就明白了他们之间的区别了，有点想win电脑下的文件存储与Mysql数据存储之间的关系。

数据计算：Hive、Tez、Spark、Flink、Storm

Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

合肥达内IT培训免费试听课程火热报名中，带你轻松入行，26大课程全国45个城市，129家中心均可就近学习，学完后，达内老师会帮助进行面试辅导，在面试前，就带你跨过可能存在的坑，让你入职更加顺利

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请添加3216764521学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。