您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
数据资产盘点+数据治理+数据价值实现=数据资产管理运营
 
作者:Frankdeng
 
  551  次浏览      1
2020-6-17 
 
编辑推荐:
本文主要介绍了数据源、数据分级分类、数据认责、数据权限梳理、元数据、数据标准、.数据质量、主数据、数据安全等相关内容。
本文来自于博客园,由火龙果软件Anna编辑、推荐。

略去大数据分析背景与价值部分,言简意赅的介绍如何进行数据资产管理运营。

数据资产管理运营 = 数据资产盘点 + 数据治理 + 数据价值实现

管理和运营是一个全流程的事情,首先我们需要知道有哪些数据(盘点),转化为能够发挥价值的数据资产(治理),再实现数据应用层面的价值(价值实现),也就是最终要能指导业务产出价值。

下面分别介绍对这三部分工作进行简要介绍。

01 数据资产盘点

1、数据源

内部源数据(业务数据,管理数据,IT方面的OA数据/系统监控数据)+ 外部数据(第三方数据,互联网爬取的数据)经过数据交换形成:

ODS贴源层 :和源系统保持一致,可能会做一些数据标准化/数据清洗,如果源系统没法改造的话,需要在这一步对数据进行标准化改造,确保到数仓层面是符合标准的。

数仓层面:按主题进行构建(比如产品,客户,机构主题),加工(进行反范式,标准化等 )

一般数仓分为贴源层、标准化层、汇总层、指标层、集市层(关于数据仓库和数据集市在本篇不详细展开介绍)

数据集市:针对具体应用,高并发数据查询,把数仓层面加工完之后的数据导出到数据集市,便于进行小规模的应用

上述结构化数据加上半结构化数据(例如日志文件)和非结构化数据 (例如音频视频、邮件(所以要引入 hadoop spark框架)) 构建成了 大数据平台

2.数据分级分类

在完成了数据梳理,了解数据分布后,同时要明确保密和敏感数据的分布情况。

数据分类:依据数据的来源、内容和用途对数据进行分类。

数据分级:根据已分类的数据资产由业务部门根据数据的价值、敏感程度、影响范围进行敏感分级,将分类的数据资产划分公开、内部、敏感等不同的敏感级别。

3.数据认责

完成数据梳理与分级分类后,针对数据的归属权需要进行确认,有利于之后的权限梳理以及数据治理和运营。

4.数据权限梳理

主要涉及到访问控制以及对于敏感信息的保护,例如身份证号手机号脱敏等等,此处需要结合数据分级分类与数据认责。

02 数据治理

1.元数据

在表中看到一个数据时,我们仅看到这个数据的值,但是对于这个数据的身份背景从哪里来到哪里去我们都一无所知,所以我们需要元数据。元数据指的是用来描述数据的数据。那我们需要描述哪些方面呢?

业务元数据:是描述数据的业务含义、业务规则等。起码让你知道这一项数据的含义是什么,是通过什么规则运算加工出来的,避免大家各自对数据发挥想象...自说自话。通常包括:业务定义、业务规则、业务指标等。

技术元数据:进行技术定义和描述是为了便于识别数据的存储、传输和交换,常见的技术元数据包括:存储位置、数据模型、字段长度、字段类型、ETL脚本、SQL脚本、接口程序等

管理元数据:描述了数据的管理属性,包括管理部门、管理责任人等。内容主要包括:与元数据管理相关的组织、岗位、职责、流程、项目、版本等。

那有了这些元数据之后我们可以做什么呢?

了解数据来自哪里并经过了哪些加工(血缘分析),数据与其他数据之间的关系(关联度分析),哪些数据是属于企业的常用数据(冷热度分析)等等。(了解元数据详见这是我见过把元数据解释的最通俗易懂的文章了)

2.数据标准

有了元数据之后,我们还需要制定相应的数据标准,来规范我们对于数据的使用。比如为了支持数据交互,我们需要对格式标准进行定义,为了避免混淆和歧义,需要对数据项名称标准,数据项值的标准进行定义。

元数据是数据标准的基础,元数据需要有对应的数据标准。例如业务元数据(增长率),标准应该定义清楚是同比还是环比,例如技术元数据(字段类型),可能每一个数据库制定的表的标准不一样,男女就会出现male/female,1/0...这种情况,则需要我们需要按照一个统一的标准进行定义与输入。(了解数据标准详见如何建立数据标准实现数据资产管理?)

3.数据质量

数据标准则又服务于数据质量,我们进行数据治理的目的也是为了提高数据质量,从而提供更为精准的决策分析数据。数据标准的评价维度示例如下:

数据标准评价指标

一般情况下产生数据质量问题的原因可能是录入错误,需要通过报表核对查出来并进行整改,知道哪些部门的数据质量是怎样的,代码问题采用了错误的逻辑判断,数据缺失数据在流转过程中导入导出过程中,由于编码规则不一样导致的数据被丢弃,可以在每个流转环节加入校验机制。(了解数据质量详见如何提高企业数据质量?)

4.主数据

主数据是企业系统间共享性高的数据,跨越各业务部门经常被使用,且相对稳定。常见的主数据有客户、产品、机构人员等。

主数据具备3个主要特征有:

①高价值:主数据是所有业务处理都离不开的实体数据,与大数据相比价值密度非常高。

②高共享:主数据是跨部门、跨系统高度共享的数据。

③相对稳定:与交易数据相比主数据是相对稳定的,变化频率较低。

这些特征同时也反映出来主数据通常存在数据入口众多、重复录入、信息不一致、填写不规范、存在数据孤岛等问题。因为主数据的上述特点,因此管理方式也会有些不同。

通常有3种管理形式:

1.以单独系统进行管理,比如CRM系统就是客户数据的主数据平台,能够保证数据在各个地方交互的时候都是一致的。

2.集中管控,集合客户、产品、等所有主数据,构建主数据平台(MDM系统)进行统一维护。方式是通过数据同步机制,将其他各地方比如财务系统的主数据(客户数据)同步到主数据平台。

3.数仓层面,建一个主题,比如客户数据再同步到源系统,这种方式会比较麻烦,而且管控效果也是太好。(了解主数据详见什么是企业主数据管理?)

5.数据安全

数据安全是贯穿数据使用全流程的,尤其在一些数据敏感度高的例如政府、军事、银行等机构,会对数据安全有较高的要求。

数据存储安全:包括物理安全、系统安全存储数据的安全,主要通过安全硬件的采购来保障数据存储安全。

数据传输安全:包括数据的加密和数据网络安全控制,主要通过专业加密软件厂商进行规范设计和安装。

数据使用安全:需要加强从业务系统层面进行控制,规范数据的访问、下载、共享、销毁等过程。(了解数据安全详见数据安全如何定级?)

03 数据价值实现

现在数据已经整整齐齐准备好了,能够通过什么服务实现价值呢?一般可以分为三种。

基础数据服务:查询、多维分析等,以SQL的方式来进行数据获取和指标分析。支持简单的条件查询,数据化运营中的路径分析、漏斗模型等等。

标签画像服务:通过使用标签数据,进行客户画像、精准营销等服务。像是关联分析、RFM模型都是比较常用的模型。

算法模型服务:包括推荐系统、风险控制等,通过将算法模型部署为在线API。这一部分根据行业不同有不同的需求,如投研分析,文本语义分析,交通路线优化等不同场景下的应用。

 
   
551 次浏览       1
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新课程计划
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...