您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center 汽车系统工程   模型库  
会员   
   
嵌入式软件测试方法&实践
3月20日 线上
需求分析与管理
4月21-22日 北京+线上
SysML和EA进行系统设计建模
4月23-24日 北京+线上
     
   
 订阅
  捐助
原力大数据干货|数据治理的方法与实操步骤
 
  4967  次浏览      36
 2021-10-15
 
编辑推荐:
此文主要介绍数据治理的必要性及其解决的问题,数据治理的体系与理论基础,最后总结在项目实践中得出了4 个观点,希望对您的学习有所帮助。
本文来自于原力大数据 ,由Alice编辑、推荐。

当一个企业的信息化发展到一定阶段,IT系统和平台越建越多,数据越来越丰富,很多企业就会出现这样一个问题:

绝大多数人只了解与手头工作相关的IT系统和数据,大家都不清楚公司到底有哪些IT系统、到底有哪些数据,更不知道如何如何用好数据。

这时,数据治理就成为了企业有效利用数据价值的一个必经之路。

一、数据治理的必要性及其解决的问题

数据治理的提出,本质上就是为了确保信息在流转中能保持高度的一致性、全面性、便利性,让数据更好的辅助决策和经营。

事实上,当企业的IT系统越来越多、数据越来越丰富的同时,很容易就会出现各种各样的问题,主要可归结为以下3种情况:

1、系统间相互割裂:

企业内部IT系统呈现孤岛化,信息无法流转

由于IT系统之间的相互割裂,当一项工作需要多部门配合时,同一个信息在不同系统录入时往往需要手工衔接,容易出现关键信息传递出错、信息遗漏等问题。

2、平台间信息不一致:

平台间数据标准不一,缺少全局规范文档,信息无法对接应用

同一条记录在不同平台录入时数据格式、数值精确度等不一致,甚至名称、编号也有差别,数据在对接核对时就会出现混乱。

3、缺乏统一管理:

IT系统建设缺乏统一的管理规范,无法从源头上解决信息混乱问题

系统建设时局限于部门需求,没有从业务全流程角度进行规划,导致平台系统分布零散、功能重复,权限管理不统一等问题。

要解决这些问题,只能从源头做起,先深入理解企业的运营规则和流程,然后把整体的数据体系及标准、管理等建立起来,为更多的数据应用提供足够的数据支持。

二、数据治理的体系与理论基础

1、DAMA体系

较为权威的理论体系是国际数据关系协会制定的DAMA体系,主张从9大管理方面全方位进行数据治理,并且详细阐述了每个方面具体要做的事情。

☆ 元数据管理:集成、控制和提供元数据

☆ 数据质量管理:定义、监控和提高数据质量

☆ 数据架构管理:定义企业数据需求,设计实现数据需求的蓝图

☆ 数据开发:设计、实施并维护解决方案,实现企业数据需求

☆ 数据操作管理:数据库设计、实施和支持

☆ 数据安全管理:确保隐私、机密性和合适的访问控制

☆ 参考数据和主数据管理:管理珍贵版本和复制品

☆ 数据仓库和商务智能管理:支持报表处理和分析

☆ 文档和内容管理:管理数据库之外的非结构化数据

2、ITIL标准

ITIL即IT基础架构库(ITIL-IT Infrastructure Library),被誉为IT服务管理的圣经,其中包含了总结国际大公司在IT服务管理中的经验并得到证明的IT服务计划和运营的最佳实践框架,能够确保数据治理中IT建设的稳定与灵活性。

☆ 能力管理:通过合理配置服务能力,发挥IT资源最大效能的服务流程管理。

☆ IT服务可持续度管理:有足够的技术、服务和管理资源来支撑IT服务持续性。

☆ 财务管理:预算和核算IT服务提供方的服务成本,确保符合成本效益原则的管理流程。

☆ 配置管理:提供IT基础架构的逻辑模型,支撑其他服务管理流程运作的管理流程。

☆ 事故管理:快速响应处理可能引起服务中断和服务质量下降的事件的管理流程。

☆ 问题管理:精准找到(潜在)问题源头,并积极预防的管理流程。

☆ 变更管理:平衡IT服务中“时间”与“风险”的管理流程。

☆ 发布管理:保证软硬件变更发布成功的管理流程。

☆ 服务水平管理:是定义、协商、订约、检测和评审提供给客户的服务的质量水准的流程。

☆ 可用性管理:确保以合理的成本满足不断增长的可用性需求的管理流程。

3、6W2H分析法确保数据治理工作的有序开展

广泛用于企业管理和技术活动,更加全面具体、结构更加严密地分析工作,有助于制定决策和执行性的活动措施,也有助于弥补考虑问题的疏漏。

☆ What:数据治理要达成的目标和工作的内容

☆ Why:进行数据治理的原因及其迫切性

☆ Who:数据治理工作具体有哪些工作人员,由谁来统筹

☆ When:排期规划与各个模块的建设进度安排

☆ Where:确定数据治理主要针对的数据或部门

☆ Which:数据治理依托的理论指导和方法论

☆ How:数据治理采用的方法和建设思路

☆ Howmuch:考虑成本投入或预算

三、数据治理的实施步骤

数据治理最终落地应是企业的数据资产管理平台,涵盖企业的数据资产管理和数据应用管理两大块,全面、统一的管理企业数据资产与使用。

原力大数据对合作企业的数据、平台、组织架构都十分清楚,并协助制定了一些行业的数据治理标准规范。

所以基于这些信息的积累,原力大数据在推动企业数据治理落地时,会遵循三步迭代推进的方式开展:

  • 第一步:

选择企业的关键领域/业务线条,融合关键线条数据,打造小数据中心,梳理、规范、重构数据,将数据治理的标准、管理规划落地;

  • 第二步:

融合企业全部线条的数据,建设企业大数据中心,将关键线条的数据治理、数据重构经验扩展至全领域,构建企业统一的数据服务应用;

  • 第三步:

强化数据中心的数据资产管理和数据应用管理两方面的服务,将数据治理的9大管理工具化,将数据服务模块化,统一调用、统一管理。

原力大数据具备完善的数据治理解决方案,能结合企业需求快速开展数据治理工作。但对尚未接触过数据治理的企业而言,建议遵循一步步推进的过程进行数据治理,把企业数据资产管理平台建立起来。

1、资产梳理

  • 盘点数据资产

结合业务去盘点企业数据资产,重点是基础数据的盘点,这是开展数据治理工作的重要前提。

  • 评估数据管理水平

评估数据管理水平,了解企业的数据管理机制、数据使用现状,明确数据如何支撑日常生产及经营,明确数据的来源、调用、存储等情况。

2、规范建立

  • 建立数据治理9大管理维度的规范及建设方案

在专业理论指导下,结合行业标准规范,建立数据治理9大管理维度的规范及建设方案,形成数据治理体系,使得数据治理工作在实施时有章可循。

  • 建立数据治理组织架构建设方案

以技术部门为主导部门,从组织架构、组织构成、角色及职责等方面建立数据治理组织架构建设方案。

  • 制定管理办法及考核制度

结合数据治理体系形成细分管理办法,建立考核机制,保障数据治理各项工作的有序开展及成效保障。

  • 建立系统落地建设方案

依据三步迭代推进的路径,建设小数据中心、大数据中心、数据资产管理平台的系统建设方案。

规范建立涉及维度列举如下:

3、组织架构建设

  • 建立以技术部门为主导的数据治理组织

依据规范建立中的数据治理组织架构建设方案,建立以技术部门为主导的数据治理组织,可根据企业情况以抽调专职人员或相关职能的兼职人员构成,明确人员角色、组织构成及职责,保障数据治理各项工作的实施。

4、系统落地

  • 关键域/业务线条的数据中心建设

依据规范中的系统落地方案进行小数据中心建设:选择企业的关键领域/业务线条,融合关键线条数据,打造小数据中心,梳理、规范、重构数据,将数据治理的标准、管理规划落地。

  • 企业大数据中心建设

依据规范中的系统落地方案进行企业大数据中心建设:融合企业全部线条的数据,建设企业大数据中心,将关键线条的数据治理、数据重构经验扩展至全领域,构建企业统一的数据服务应用。

  • 企业数据资产管理平台建设

依据规范中的系统落地方案进行企业数据资产管理平台建设:强化数据中心的数据资产管理和数据应用管理两方面的服务,将数据治理的9大管理工具化,将数据服务模块化,统一调用、统一管理。

5、数据治理体系管理

  • 数据资产的日常管理考核

把企业数据资产管理平台投入管理企业数据资产与使用,依据规范中的数据治理体系管理方案及管理办法,进行日常数据资产的日常管理考核;

  • 规范及管理制度的优化迭代

结合企业生产经营需要,进行规范及管理制度的优化迭代;

  • 资产管理平台的优化迭代

结合企业生产经营需要,进行企业数据资产管理平台的优化迭代。

四、关于数据治理的4个观点

原力大数据在给很多企业进行数据治理,在项目实践中得出了4 个观点,和大家分享:

观点1:

数据治理标准的生命力在于执行,难点也在于执行。

观点2:

数据治理体系规划和治理标准制定完成后,还需借助较大规模的源系统建设或改造才能得到较好执行。

观点3:

数据治理的落地执行需要遵循的四大原则:

1)领导重视;

2)以业务为驱动;

3)注重治理实效;

4)循序渐进的推进执行;

观点4:

数据中台是建立数据模型的一套理论和方法,基于数据中台的理念进行数据模型建设、应用、管理是数据治理落地的最佳实践。

数据治理是一个公司整体战略层面的工作,而不在执行层面。公司决策层领导挂帅,由主要数据使用部门(比如:市场部、销售部)和IT信息技术部门共同牵头,是推动数据治理成功的关键因素。

同时我们建议,企业做数据治理,应该以与公司日常的市场经营工作结合最紧密的某个领域为切入口,再逐步拓展到全域数据

五、技术活+苦力活,数据治理落地需做好准备

每个企业的数据治理落地路线是“因人而异”的,我们将在接下来的数据治理系列文章中,分享数据治理的实施步骤、数据安全标准、元数据管理、数据标准管理、数据安全管理等。

数据治理既是技术活、也是苦力活。要求团队既懂数据、又懂业务、还有IT建设能力。

原力大数据团队在企业数据治理和数据应用领域已有10多年的项目经验积累,曾帮助多个世界500强企业、龙头企业、政府进行数据治理及数据资产管理,具备从数据、技术、业务应用、管理、安全等方面入手,输出企业大数据治理整套解决方案的能力。

 

   
4967 次浏览       36
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新活动计划
嵌入式软件架构设计 12-11[北京]
LLM大模型与智能体开发实战 12-18[北京]
嵌入式软件测试 12-25[北京]
AI原生应用的微服务架构 1-9[北京]
AI大模型编写高质量代码 1-14[北京]
需求分析与管理 1-22[北京]
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...