您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
如何成功做一个数据治理项目,有哪些实施要点
 
  3301  次浏览      15
 2021-10-14
 
编辑推荐:
此文将主要围绕数据治理具体阐述实施步骤、工具平台的功能,并基于实践经验,提出数据治理成功的要素,希望对您的学习有所帮助。
本文来自于知乎 ,由Alice编辑、推荐。

数据作为新型生产要素,只有流动、分享、加工处理才能创造价值。如今数据治理成为数字经济必经之路,怎么实现一个数据治理项目成为大家最关心的问题。此文将主要围绕数据治理具体阐述实施步骤、工具平台的功能,并基于实践经验,提出数据治理成功的要素。全文有点长,需要耐心看完。

组织保障是数据治理项目成功的前提

数据治理是体系化非常强的工作,首先需要充分考虑企业内部 IT系统、数据资源以及业务应用的开展现状,同时也要考虑围绕业务开展所设立的人员和组织机构的情况,在此基础上设计一套有针对性的数据治理组织架构、管理流程、管理机制和考核评估办法,通过管理的手段明确“责权利”以保障数据治理工作有序开展。

1、制定战略规划

从管理层、领导层出发,从顶向下全局部署数据治理规范从而形成全面的标准规则体系和执行调度流程。战略规划是数据治理项目成为企业战略核心任务应用的重要部分,是数据资产得到一定程度内外部应用的指导蓝图。值得一提的是,越来越多的企业单位在战略规划阶段决议成立专门的数据管理部门,以连通 IT 部门和业务部门。

2、完善组织架构

典型的组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。组织架构划分和角色设定如下图所示:

数据治理保障措施组织架构

为了让组织架构中的各个角色相互配合,各司其职,还需要明确他们相应的职责,让工作职责融入到日常的数据治理和使用工作中。

3、建立制度体系

为了保障活动实施和组织架构正常运转,需要建立一套覆盖数据引入、使用、开放等整个生产运营过程的数据管理规范,从制度上保障数据治理工作有据、可行、可控。 数据治理规范包括元数据管理规范、生命周期管理规范、数据质量管理规范以及数据安全管理规范等对应管理职能的具体规范。

4、设置审计机制

为进一步保障、评估数据治理的规范、规划、组织机构、制度体系的执行状况,保障、评估数据资产的安全性、准确性、完整性、规范性、一致性、唯一性和时效性,需有完整的贯穿数据治理整个流程的审计机制。审计方式从审计体系规范建设入手,信息技术审计方法和专职人员审计方法并行。审计对象包括数据权限使用制度及其审批流程、日志留存管理办法、数据备份恢复管理机制、监控审计体系规范以及安全操作方案等体系制度规范以及敏感、重要数据。数据治理在实施过程中需要保障集中审计的可行性。

5、开展培训宣贯

培训宣贯是企业实施数据治理进程中的重要组成部分,是数据治理理论落地实践、流程执行运作的基础,是数据治理牵头部门在技术部门和业务部门之间顺利开展工作的重要保障。企业需利用现有资源,合理安排员工参与数据治理培训、课程。促进员工有效培训和自我提高,提升人员的职业化水平,强化工作的标准化、规范化。

数据治理项目的实施要点

企业构建大数据能力步骤一般是“建立组织架构 →应用需求梳理→数据盘点梳理→引进平台技术→汇聚多源数据治理数据→数据应用→数据运营”等。数据治理以数据价值为导向,分布在大数据能力构建的多个环节。数据成熟度不同的企业或单位开展数据治理的具体步骤和实施内容要根据自身情况制定。

(一)实施步骤

数据治理可参考按照“统筹规划→管理实施→稽核检查→资产运营”四个阶段的方法策略执行,每个阶段对应的管理职能如图所示。以业务应用目标为指引,企业可以按照自身数据及管理情况制定不同的实施步骤顺序。

数据治理实施步骤

第一阶段:统筹规划

第一阶段是统筹规划过程,制定数据治理战略规划,明确数据治理目标,涉及建立数据治理组织和制度作为保障措施,盘点数据资产,制定数据资产标准规范等,该阶段成果是后续工作的基础。

一般情况下,数据治理的第一步是建立组织责任体系,根据自身情况,制定数据治理制度规范。需要建立一套独立完整的关于数据治理的组织机构,明确各级角色和职责,确定兼职专职人员,保障数据治理的各项管理办法、工作流程的实施,推进工作的有序开展,并逐步打造管理及技术的专业人才团队。

第一步的主要交付物包括:《数据治理规划》、《数据治理认责机制》、《数据治理工作指引》、《数据治理考核评价办法》。

第二步是结合业务盘点数据资产,评估当前数据管理能力。对基础数据的盘点是开展数据治理工作的前提之一,需要分析企业战略及业务现状,结合当前大数据现状及未来发展,盘点企业内外部数据现状,确立数据治理的目标,并逐渐实施需求调研、盘点资产、采集汇聚等专题任务。与此同时,了解企业数据来源、数据采集手段和硬件设备情况,以定位自身数据治理能力,规划未来数据治理成熟度提升方案。

第二步的主要交付物包括:《数据资产盘点清单》、《数据资产管理现状评估》。

第三步是制定数据资产相关的标准规范。在企业组织架构、制度体系和数据资产盘点的基础上,结合国际标准和行业标准,围绕数据资产全生命周期管理,制定相关的数据规范体系,包括元数据标准、核心业务指标数据标准、业务系统数据模型标准、主数据标准、关键业务稽核规则等,使得数据管理人员在工作中有明确的规则可依,同时,建立参考数据和主数据标准、元数据标准(比如元模型标准)、公共代码标准、编码标准等基础类数据标准,以及基础指标标准、计算指标标准等指标类数据标准和关键业务稽核规则。企业应逐步推动相关数据规范和标准的工作建设,使数据有效汇聚和应用,切实保障数据治理的流畅实现。

第三步的主要交付物包括:《数据标准管理办法》。

第二阶段:管理实施

如果说第一阶段重点还在于对数据资产的定义、规划、梳理,第二阶段就是对第一阶段成果的落地实施。

首先,在搭建大数据管理平台、完成数据汇聚工作的基础上,根据企业自身存量数据基础和增量数据预估,建设或采购必要的数据治理平台或引入第三方工具以支撑管理工作,切实建立起企业数据治理能力。

其次,要建立安全管理体系,防范数据安全隐患,执行数据安全管理职能。再次,还需要制定和管理主数据,以明确企业核心业务实体的数据,如客户、合作伙伴、员工、产品、物料单、账户等,从而自动、准确、及时地分发和分析整个企业中的数据,并对数据进行验证。

在第二阶段里,需要从数据治理的相关业务、技术部门日常工作流程入手,切实建立起企业数据资产管控能力,包括从业务角度梳理企业数据质量规则,检测数据标准实施情况,保证数据标准规范在企业信息系统生产环境中真正得到执行。针对关键性数据治理工作,可以借助管理工具,建立数据资产的管理流程,保证相关事情都有专人负责。同时,企业应加强数据资产服务和应用的创新,可以围绕降低数据使用难度、扩大数据覆盖范围、增加数据供给能力等几个方面开展。 通过数据可视化、搜索式分析、数据产品化等降低数据使用难度;通过数据“平民化”(如打造数据应用商店)扩大数据覆盖范围,让一线业务人员接触到更多的数据,让数据分布更加均衡;通过数据消费者、数据生产者之间灵活的角色转变,增加数据的供给能力(如形成数据众筹众享模式)。

第二阶段的工作目标主要是为企业打造核心的管理数据资产的能力,同时为企业内数据治理部门形成数据管理的工作环境,概括起来,就是企业数据资产可管理、可落地。

本阶段主要交付物包括:《数据治理办法》、《数据治理实施细则》(包括数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全管理、数据应用管理等)。

第三阶段:稽核检查

稽核检查阶段是保障数据治理实施阶段涉及各管理职能有效落地执行的重要一环。这个阶段包括检查数据标准执行情况、稽核数据质量、监管数据生命周期等具体任务。这个阶段需要抓好三个“常态化”:

  • 一是数据标准执行情况检查的常态化。数据标准管理是企业数据治理的基础性工作,通过数据标准管理的实施,企业可实现对大数据平台全网数据的统一运营管理。数据标准管理的检查主要从标准制定和标准执行两个方面检查。标准制定的检查主要围绕同国家标准、行业标准的一致性,同时参考与本地标准、数据模型的结合性,包括数据命名规范、数据类别等。标准执行的检查主要围绕标准的落地情况,包括数据标准的创建和更改流程的便捷性、数据标准使用的广泛性、数据标准与主数据的动态一致性等。
  • 二是数据质量稽核的常态化。应对数据质量问题,首先要提升数据质量意识,数据质量意识包括能够将数据质量问题与其可能产生的业务影响联系起来,同时也包括“数据质量问题不能仅仅依靠技术手段解决”的理念。尽可能从数据源头提升数据质量。其次,建立一套良性循环、动态更新的数据质量管理流程,制定符合业务目标的数据质量稽核规则,明确在数据全生命周期管理各环节的数据质量提升关键点,持续评估和监督数据质量与数据质量服务水平,不断调整更新数据质量管理程序,推动数据向优质资产的转变,逐步释放数据资产价值,为企业带来经济效益。
  • 三是灵活配置数据存储策略的常态化。数据生命周期管理,其目标是以完全支持企业业务目标和服务水平的需求,根据数据对企业的价值进行分类分级,形成数据资产目录,然后制定相应的策略,确定最优服务水平和最低成本,将数据转移到相应的存储介质上,争取以最低的成本提供适当级别的保护、复制和恢复。借助数据生命周期管理,企业不但能够在整个数据生命周期内充分发挥数据的潜力,还可以按照业务要求快速对突发事件做出反应。
  • 四是数据资产安全检查的常态化。在大数据时代,数据资产更容易遭受泄露、篡改、窃取毁损、未授权访问、非法使用、修改、删除等问题。企业应通过建立对数据资产及相关信息系统进行保护的体系,合规采集数据、应用数据,依法保护客户隐私,提高数据安全意识,定期进行数据资产安全检查,保证数据的完整性、保密性、可用性。

本阶段主要交付物包括:《数据治理稽核办法》、《数据治理问题管理办法》。

第四阶段:资产运营

通过前三个阶段,企业已经能够建立基本的数据治理能力,在此基础上,还需要具备以实现业务价值为导向,以用户为中心,为企业内外部不同层面用户提供数据价值的能力。资产运营阶段是数据治理实现价值的最终阶段,该阶段包括开展数据资产价值评估、数据资产内部共享和运营流通等。

数据资产价值评估能够以合理的方式管理内部数据和提供对外服务。在大数据时代,数据运营企业关于数据价值的实现是体现在数据分析、数据交易层面。 数据资产作为一种无形资产,其公允价值的计量应当考虑市场参与者通过最佳使用资产或将其出售给最佳使用该项资产的其他市场参与者而创造经济利益的能力。只有对数据资产价值进行合理的评估,才能以更合理的方式管理内部数据和提供数据对外服务。

数据资产内部共享和运营流通需要加强管理运营手段和方式方法,促进数据资产对内支撑业务应用,对外形成数据服务能力,打造数据资产综合运营能力。数据资产内部共享主要是消除企业内数据孤岛,通过相关管理制度和标准体系的建设与推动,构建企业内数据共享平台,打通各部分各系统的数据,使更多的数据可以成为资产,应用于数据分析,全面动态促进数据价值的释放。数据资产运营流通主要是实现数据资产价值的社会化,需要从数据安全管理及合规性、数据资产成本及价值创造、组织结构优化、数据质量提升等方面进行规划并不断迭代,持续优化数据治理能力。

本阶段主要交付物包括:《数据资产价值评估方法》、《数据资产成本管理方法》、《数据资产共享流通管理办法》。

(二)实践模式

数据治理在“统筹规划→管理实施→稽核检查→资产运营”四个阶段的方法策略执行参照下,还可以根据两个思考维度,选择一些常用的实践模式。其一是组织方式,有自上而下的顶层设计模式和自下而上的各个击破模式两种类型;其二是建设策略,有生产系统优先和数据系统优先两种类型。

1、数据治理的建设策略

企业数据治理的建设策略主要包括自上而下和自下而上两种方式。如果企业将数据治理纳入战略规划,且企业的高层拥有较大的决策权,可以采用自上而下的建设策略,结合企业业务发展目标制定长远的数据治理规划。如果企业的数据管理部门具有一定的独立性,并且具备专业技能和相关经验,可以采用自下而上的建设 策略,以探索数据治理需求为驱动力,通过问题导向,推动企业数据治理的逐步完善。

数据治理自上而下建设策略的显著特点是“规范、标准先行”,项目开展通常由数据治理咨询项目开头,这种模式通常有以下几项重要活动:

  • 调研数据资产分布现状:数据资产现状调研在数据资产盘点、收集调研问卷、现场访谈等调研手段的基础上,结合业务场景,充分的了解当前企业的数据资产分布情况,也有助于企业在展开自上而下的数据治理前掌握业务人员的数据需求;
  • 评估数据治理水平:通过自评估或者专业机构进行数据治理评估,将帮助企业在自上而下实施之前了解当前自身数据治理的现状,明确存在的问题和潜在的挑战,规划适当的数据治理蓝图;
  • 建设数据治理体系:数据治理工作是一项跨业务、跨部门的系统工程,数据治理的从上而下实施高度依赖于高层管理人员的支持和职能集中化的数据治理组织。数据治理体系通过明确管理战略、制定管理制度、搭建组织架构等一系列活动,以企业级的全局视角推进数据治理的实施。

数据治理自下而上建设策略的显著特点是“问题导向、系统建设先行、快速见效”。以解决各业务部门和业务系统数据管理中的问题为出发点,通过使用成熟的数据治理工具,快速搭建数据治理平台,实现问题的逐个击破,并逐渐探索出全面的解决方案。

参考各行业数据管理项目实践,自下而上的模式一般以解决企业面临的元数据管理、数据质量管理两项核心数据治理任务作为切入点,逐步扩展到数据模型管理、数据标准管理、数据安全管理等其它数据管理职能。

2、 数据治理的切入方式

在建设策略方面,一般从生产系统入手或数据系统入手。从生产系统入手的常用建设模式包括企业数据模型建设模式以及主数据建设模式。从数据系统入手的常用建设模式包括统一数据平台模式和数据集市模式。

企业在选择不同建设策略的时候,可以考虑数据对于企业的重要性以及企业目前对于数据的管理水平。如果数据是企业重要的业务资源,同时企业已经具备了一定的数据管理专业水平和经验,可以通过从数据系统入手的实施方式,通过修复数据管理漏洞、提升数据服务应用水平,推进数据管理能力建设。如果企业的数据管理水平并不成熟,那么选择直接从数据管理系统入手有些冒险,而从业务系统入手则较为稳妥,也易见成效。

数据治理实践离不开软件工具

数据治理实践实施过程中,需要依托具体的软件工具来执行。而且随着技术的发展,软件工具的自动化、智能化程度不断地提高,在数据治理中的作用越来越大。

目前针对上述管理职能,业界很多厂商都开发了相关软件工具,其中,相对比较成熟的工具有数据标准管理工具、元数据管理工具、主数据管理工具、数据质量管理工具、数据安全管理工具和数据生命周期管理工具等七类工具,这七类工具有的是单独呈现,有的是相互组合在一起形成包括多种功能的软件平台。

除“数据治理”相关的工具之外,在大数据能力构建中,一般还要利用“数据集成工具”、“数据共享交换平台”等,通过传统数据仓库或大数据平台等媒介将数据集成交换到一起,从而为应用分析或开放做准备,涉及工具如 “商务智能(BI)分析工具”、“报表工具”、“数据挖掘平台”、“数据开放平台”等。

拿业界有名的睿治数据治理平台来说,它是亿信华辰自主研发的由元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理9大产品模块组成的功能齐全的数据治理工具:

睿治数据治理平台架构图

  • 元数据管理:内置丰富的采集适配器,端到端的自动化采集,一键元数据分析,快速理清数据资源,了解数据来龙去脉,构建数据地图,为数据标准建设和数据质量提供基础支撑。
  • 数据标准管理:数据标准建设提供全面完整的数据标准管理流程及办法,用于决定和建立单一、准确、权威的事实来源,实现大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,并为数据质量检查、数据安全管理提供标准依据。
  • 数据质量管理:以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。
  • 数据集成管理:可实现跨部门数据的传输、加载、清洗、转换和整合,支持自定义调度和图形化监控,实现统一调度、统一监控,满足运维可视化需求,提高运维管理工作效率。
  • 主数据管理:主数据管理对需要共享的数据建立统一视图和集中管理,为各业务系统数据调用提供黄金数据。
  • 数据交换管理:数据交换服务将若干个业务子系统之间进行数据或者文字的传输和共享,提高信息资源的利用率,集数据采集、处理分发、交换传输于一体,轻松玩转企业级数据交换作业。
  • 数据资产管理:数据资产服务可以帮助我们更好的支撑各种数据的应用,丰富的服务接口拓展,支撑数据资产的多渠道应用,如数据共享、决策支持等,最终实现数据资产价值最大化。
  • 数据安全管理:数据安全管理贯穿于数据治理全过程,提供对隐私数据的加密、脱敏、模糊化处理、数据库授权监控等多种数据安全管理措施,全方位保障数据的安全运作。
  • 数据生命周期管理:数据生命周期记录数据从创建和初始存储,到它过时被删除的整个流动过程,对数据进行近线归档、离线归档、销毁和全生命周期监控。

睿治数据治理平台的九大产品模块可灵活组合使用,通过有型的产品支撑和实施方法论,解决大企业面临的数据孤岛、数据维护混乱、数据价值利用低的问题,依据企业特有的业务和架构,构建一套源源不断地把数据变成资产并服务于业务的、可持续让企业数据用起来的机制,让数据可见、可懂、可用、可运营。

结语:数据在实现价值的过程中需要充分依托技术,但更离不开结合自身业务与应用,合理规划。同时,数据治理是一项持之以恒的工作,不可能一蹴而就,需要一个循序渐进的过程分阶段进行。要做好充分地长期作战准备,就一定要加强数据合规操作,避免安全漏洞,及时风险风控。

   
3301 次浏览       15
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新课程计划
信息架构建模(基于UML+EA)3-21[北京]
软件架构设计师 3-21[北京]
图数据库与知识图谱 3-25[北京]
业务架构设计 4-11[北京]
SysML和EA系统设计与建模 4-22[北京]
DoDAF规范、模型与实例 5-23[北京]
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...