您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
   
 
     
   
 订阅
  捐助
如何创建一个大数据平台
 
作者:帆软
 
174 次浏览     评价:  
2020-7-8 
 
编辑推荐:
本文以某物流公司为例,详细介绍一下大数据分析平台建设过程,希望对您的学习有所帮助。
本文来自知乎,由火龙果软件Alice编辑、推荐。

一、企业数据化有什么难题?

1. 业务板块独立。有不同的人做不同的事,相互之间几乎没有任何沟通和联系;

2. 业务系统孤立。各个板块都对应着一个业务系统,数据存储独立,数据之间无交集;

3. 数据孤岛。在获取数据时,往往需要登录多个系统,数据编码独立,缺失关联性;

4. 分析指标孤立。各个业务系统,数据的分析指标不统一,相对孤立,价值含量单一。

原因分析图

上述的四点问题的存在,导致数据处理复杂,耗时耗力,员工把精力更多的困在数据处理上,为数所困。最终会致使管理层决策依据不完善、不准确、不全面,出现决策失误、丢单、丢信誉的情况。

二、数据技术转型历程

在充分分析了目前企业为何为数所苦的原因之后,该公司决心要从底层整合业务数据,顶层构建数据决策平台两个方面入手,进行数据技术转型。

(一)底层整合业务数据

面对上面分析得出的业务系统孤立、数据孤岛等数据问题,长久物流提出了三种数据解决方案

方案一:先整合系统应用,再整合数据;

方案二:通过后台对系统间数据进行中间映射表关联,进而实现数据整合;

方案三:梳理目前所有的业务板块的主数据,针对共同的基础因子,进行数据标准建设,最终统一到数据仓库进行建设。

其中,公司涉及大量的业务,各个业务场景不同,对系统应用及数据进行整合时工作量太大,方案一不可行;并且随着业务的扩展,数据业务系统增加,数据整合便会越来越多,最终会形成一个蜘蛛网,给数据运维造成很大的工作难度,使技术人员疲于应对,因此方案二也不可行。通过多次讨论研究,最终选定第三种方案。

1. 整改现有系统数据标准

将原有的主数据转化为业务数据和公共数据,按照行业标准、内部规范、技术属性等标准和原则对交付及时率、回单及时率、金额、日期等数据类型进行重新定义,重新划分。

通过统一的数据标准对一些比较繁琐、混乱的业务系统数据进行规范,再将其抽取到数据仓库。

标准整改流程

2. 设计数据仓库数据流程

从源系统层面抽取数据,通过ETL层对数据进行清洗、转化,最终上传;然后根据统一数据标准的规范,在应用层进行数据主题的建模;最后在展示层通过数据报表进行展示并采用柱状图、趋势图等方式增强数据的可读性,搭建企业的统一驾驶舱。

数据仓库数据流程设计图

(二)顶层构建数据决策平台

在完成了底层业务数据整合工作之后,长久物流在整合业务系统数据的基础上,通过帆软产品自带的数据决策系统,有效集成了各个业务系统的实时数据,并根据各个部门的需求搭建了数据分析模板。

帆软PC端决策系统

同时,还利用FineReport与钉钉、微信等移动端应用可集成的特性,开发了移动管理平台,能够随时随地,实时访问数据报表,获取数据。管理者实时了解掌握公司各业务部门报表数据,实时运营数据,运营异常预判等数据信息。

移动端

各业务部门通过统一入口,可快速查看数据报表,使得工作人员在出差时,不必打开厚重的电脑,登录多个系统;应标时,不必为客户问题统计数据熬夜加班,给竞争对手可乘之机;重要论坛时,不必为数据信息统计不及时而丧失行业信息交流的良机。

三、数据技术转型成效

在底层业务数据整合完毕,顶层数据决策平台构建完成之后,公司不再为各项业务中的数据填报、获取、整理所困,对于各项业务的数据分析及实时管控有了极为明显的提升。下面从公司主营业务中的管理驾驶舱、月度运营会分析及仓储业务统一管控为例,进行介绍。

(一)主营业务分析

1. 管理驾驶舱

通过管理驾驶舱系统,实时把数据从各系统抓取过来,经过加工处理,把不同的系统、不同业务的数据实时显示到管理驾驶舱系统中,并可通过移动端应用进行展示,方便管理部门人员实时掌握公司当日运营情况。

finereport管理驾驶舱

移动端全国集中统计分析

2. 月度运营会公司

每个月都会召开关于主营业务的月度运营会,统计每月各大区单月的发运,当月的完成率,并且需要数据进行同比和环比等计算。

月度运营分析会是为了帮助各个区域了解上月份的运营情况,总结经验然后有针对性的对本月运营方式做调整。从表1中我们可以看出在决策系统实施前,月度运营分析会的召开时间是下月中旬,召开时间是不是晚了些?

这正是由于各个业务之间相对独立,数据的处理材料汇总需要等到月中才能上交。在实施应用了决策系统之后,月度数据在月初就可以直接在决策系统中查询,截图便可直接进行汇报分析,帮助管理层及时调整运营方式,极大的减轻了人力成本,增加了人均产出,效率大大提高

商用车发运情况通报表

(二)仓储业务管控

仓储是指通过仓库对物资进行储存、保管及仓库相关储存活动的总称,是物流活动的重要支柱。没有控制和管理物流仓库的能力,就难以发展成为有竞争力的大型物流企业。

在未应用数据决策平台时,公司常常被这些数据问题所苦:

1.如何实时掌握7个大区的车辆存放情况;

2.如何了解仓库使用了多少,空置了多少;

3.新业务来临时,如何准确的统筹调度。

数据决策平台完美的解决了上述数据问题。仓储事业部可以实时掌握全公司的库存情况,提前做好调度,几万平米的库区分区品牌、分时间段进行维护,业务人员不需要再为这些报表制作、填报等问题烦恼痛苦,可以将工作的重心放在日常车辆维护以及质量检测上。

各大区库存空置率、使用率统计表

之后该公司进一步实现对经营数据的抽取、分析、展示,与其他企业进行数据共享、数据交换,实现智能调度和智能拼接,最终构建行业全产业链的大数据平台!

 
   
174 次浏览     评价: 订阅 捐助
相关文章

我们该如何设计数据库
数据库设计经验谈
数据库设计过程
数据库编程总结
 
相关文档

数据库性能调优技巧
数据库性能调整
数据库性能优化讲座
数据库系统性能调优系列
相关课程

高性能数据库设计与优化
高级数据库架构师
数据仓库和数据挖掘技术
Hadoop原理、部署与性能调优
最新课程计划
 讲座 前端开发框架uni-app
 主讲:苏雯斐
 时间:2020年8月15日
 
 实录 企业架构师的能力模型
 主讲:俎涛
 
 
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...