For investors
股价:
5.36 美元 %For investors
股价:
5.36 美元 %认真做教育 专心促就业
提高数据质量是我们在做数据分析的时候需要执行的一个优化操作,今天我们就通过案例分析来简单了解一下,运维数据管理常用方法都有哪些。
1、元数据管理
元数据:元数据是指描述数据的数据,是指从信息资源中抽取出来说明数据特征、内容的结构化的数据,用于组织、描述、检索、保存、管理。
2、主数据管理
主数据管理是指一整套用于生成和维护主数据的规范、技术和方案,以保证主数据的完整性、一致性和准确性。主数据与交易数据不同,主数据的内容具有稳定、可共享、几个特征。运维主数据的主要数据:
与机器相关的:动环、网络、服务器、存储、光纤交换机等。
与软件相关的:系统软件、数据库、中间件、应用系统、DNS等。
与流程相关的:与ITIL相关的事件、问题、变更、配置等。
3、数据标准管理
数据标准通常包括组织架构、标准制度、管控流程、技术体系四个方向,应用统一的数据定义、数据分类、编码规范,以及数据字典等。在运维领域数据标准可以考虑如下:
组织架构:确定运维元数据、主数据、交易数据涉及的管理决策、数据业主、运营、质量、消费等团队或岗位角色。
标准制度:围绕源端数据制定分类、格式、编码等规范,制定日志、报警、性能指标等数据标准。
管控流程:要对运维数据管理的供应、变更、申请、共享、质量、运营等流程进行规范化、线上化、流程化、表单化。
技术体系:综合考虑平台架构、接口规范、应用场景等,围绕运维数据的“采存算管用”建立运维数据平台。
4、数据质量管理
数据质量管理是指针对数据从获取、存储、共享、维护、应用、消亡全生命周期的每个阶段里可能引发的数据质量问题,进行识别、度量、监控、预警等管理活动,并通过改善和提高组织的管理水平提高数据质量。运维数据有如下特点:海量的非结构化数据、秒级以内的实时数据、源端数据标准化程度低、应用场景对实时性要求高。所以运维数据质量管理应该在有限资源的背景下聚焦实时、在线、准确、完整、有效、规范等关键字。
5、数据模型管理
运维数据的模型管理方面,一是要借鉴传统业务大数据的指标数据模型设计方法;二要结合运维数据消费场景实时、准确等特征,利用流式计算方式区分源端原始数据,旁路后的加工数据,根据规则生成的指标数据等方式,设计运维实时数据模型。
6、数据安全管理
数据安全管理是实现数据安全策略和流程的制订,数据安全管理需要遵循国家、行业的安全政策法规,比如网络安全法,等级保护,个人隐私安全等要求。另外,数据治理将依赖数据来源、内容、用途进行分类,所以数据安全管理还要求对数据内容敏感程度、影响等进行分级分类。运维数据都是生产数据,生产数据的安全管理,要从技术、管理两个角度对产生、运营、消费进行全流程的安全管理。
7、数据生命周期管理
数据生命周期通常是指数据从产生、采集、存储、整合、分析、消费/应用、归档、销毁等过程的数据管理。数据价值决定着数据全生命周期过程的管理方式,数据价值可能会随着时间的变化而递减,影响着采集粒度、时效性、存储方式、分析应用、场景消费等。对运维数据生命周期各个阶段的特点采取不同的管理方法和控制手段,能从数据中挖掘出更多有效的数据价值。
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。