您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 
 订阅
实战数据治理-笔记
 
作者:松子(李博源)
  437  次浏览      16 次
 2023-11-20
 
编辑推荐:
本文主要介绍了数据治理体系-思维导图、元数据、数据标准及数据建模等。希望对你的学习有帮助。
本文来自于微信公众号松子聊数据,由Linda编辑、推荐。

一、数据治理体系-思维导图

二、元数据

2.1、元数据解决的问题

有什么数据 - 数据是什么 - 来自何处 - 如何流转 - 谁可以访问

其本质也是一种数据,,开展元数据管理工作是开展数据资产管理的基础。

2.2、元数据分类

业务元数据:描述数据系统中业务领域相关概念、关系和规则的数据;包括业务术语、信息分类、指标、统计口径等。(从业务角度描述的)

技术元数据:描述数据系统中技术领域相关的概念、关系和规则的数据;包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换加工过程的描述等。

管理元数据:描述数据系统中管理领域相关概念、关系、规则的数据;主要包括人员角色、岗位职责、管理流程等信息。

2.3、元数据模型成熟度

1、第一阶段:需要手动管理元数据,即在数据治理流程外需要额外增加的步骤

2、第二阶段:在数据探查阶段自动生成元数据

3、第三阶段:自动构建数据流转元数据

2.4、元数据建设目标和管理手段

2.5、元数据管理

元数据管理方法:

元数据管理能力:

三、数据标准

3.1、主要构成:

3.2、数据标准类型(举例)

不同行业的标准不同,这里仅是举例说明。

如:性别、身份证、金额、手机号码、行业、级别的分级分类的代码等

3.3、数据标准管理体系涉及思路

数据标准来源于业务,服务于业务。

依据已有标准进行建设

基础类数据标准:业务化视角

指标类数据标准:从管理角度出发

数据标准的指定是一个以业务管理为主导、外部要求为依据、企业现状为基础的兼容过程。

3.4、数据标准架构体系

通过统一标准和架构规范,统一指标、统一术语、统一模型、统一信息项,解决数据口径解释不清晰、业务和数据理解不一致等问题,实现数据在架构层面的统一

但并非所有基础类数据都要建立标准,纳入标准的数据项需要满足共享性、重要性和可行性的准入原则。

3.5、管理类数据标准建设原则

定义:分析类数据标准的业务含义和所适用的业务场景保持一致。

口径:分析类数据标准的业务取值范围、计算方法和编码规则等业务规则保持一直。

名称:分析类数据标准中文名称和英文名称均采用统一命名规则,表示相同业务含义的信息项名称应保持一直。

参照:各分析类数据标准项标准化时参考的外部标准(包括国际标准、国家标准和行业标准),内部业务制度和业务规范应保持一致。

来源:每个分析类数据标准都应有权威的来源系统;其他系统使用该信息时应直接取用权威系统结果,以保持一致。

图片类似WA_* 、 WA_BASIC_*、那些

3.6、数据标准生命周期管理

四、数据建模

4.1、概念

企业级数据模型建设方法:从全局入手,涉及标准化数据模型,构建统一的数据模型管控体系,丰富和完善数据实体相关属性信息,梳理数据实体之间的逻辑关系,最终形成不同主题域数据模型。

4.2、数据模型分类

4.3、数据模型生命周期

4.4、案例

五、数据集成

5.1、概念

数据集成:主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程,是一个渐进的过程,主要有新的、不同的数据产生,就不断有数据集成的步骤和方案执行。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机的集中,从而为企业数据共享提供基础支撑。

5.2、数据集成整体架构

六、数据生命周期

6.1、阶段划分

数据治理规划阶段:

业务规划定义阶段:业务规划、业务标准设计

应用设计实现阶段:数据模型设计、应用标准设计、应用设计实现、数据录入

数据生命周期管理阶段:

数据创建:利用数据模型保证数据完整、执行数据标准保证数据准确、加入数据质量检查创建准确、保证数据在合理的系统生成;

数据使用:利用元数据监控数据使用、利用数据标准保证数据准确、利用数据质量检查加工准确、确保数据在合理的系统使用、控制数据的派生;

数据归档:利用评估手段保证归档时机、分数据类型规档数据;

数据销毁:利用评估手段保证数据销毁时机,分数据类型销毁数据。

要求:

满足对历史数据查询相关政策和管理制度的要求

满足业务操作和管理分析的需要

满足审计管理要求

减少数据冗余,提高数据一致性

存储、硬件、运维等方面基础设施投入

提升应用系统性能,提高响应速度

6.2、管理要求和手段

6.3、管理规范和管理办法

七、数据质量

7.1、数据质量管理目标

根据数据消费者的需求,开发一种满足数据质量要求的管理方法

定义数据质量控制的标准和规范,并作文整个数据生命周期的一部分

定义和事实测量、监控和报告数据质量水平的过程

根据数据消费者要求,通过改变流程和系统,以及参与可显著改善数据质量的活动,识别和倡导提高数据质量的机会

7.2、生命周期

计划阶段:数据质量团队评估已知的问题范围、影响和优先级,并评估解决这些问题的备选方案。

执行计划:数据质量团队负责努力解决引起问题的根本原因,并做出对持续监控数据的计划(技术问题、流程问题)。

检查阶段:这一阶段包括积极监控按要求评测的数据质量。

处理阶段:处理和解决新出现的数据质量问题的活动。

7.3、数据质量维度

详细见另一个文档

7.4、数据质量常用工具

八、数据开发

围绕数据价值通道(数据资产 -> 数据服务 -> 业务应用)来设计数据开发的全流程管理,推动数据价值的释放。

8.1、数据资产:

8.2、数据服务:

架构:

九、数据安全

十、ETL

10.1、

10.2、ETL模式

触发器模式:

增量字段模式:

全量同步模式:

日志对比模式:

不同模式的对比:

10.3、离线和实时

使用场景:

   
437 次浏览       16
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训

最新活动计划
信息架构建模(基于UML+EA)3-21[北京]
软件架构设计师 3-21[北京]
图数据库与知识图谱 3-25[北京]
业务架构设计 4-11[北京]
SysML和EA系统设计与建模 4-22[北京]
DoDAF规范、模型与实例 5-23[北京]
 
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...