您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 
 订阅
航班运行控制及保障建设 - 行业数据模型及数据体系(上)
 
作者:黎朝辉
  885  次浏览      16 次
 2023-10-10
 
编辑推荐:
本文主要介绍了航班运行控制及保障建设 - 行业数据模型及数据体系相关知识。希望对你的学习有帮助。
本文来自于微信公众号数智航旅,由Linda编辑、推荐。

航班运行控制是控制系统,是一个行业和领域的控制系统。管理系统中的控制过程在本质上与工程的、生物的系统是一样的,都是通过信息反馈来揭示成效与标准之间的差,并采取纠正措施,使系统稳定在预定的目标状态上的。而当前国内航司的FOC、HCC、AOC、GOC等,还是集中数据库与MIS相结合的状态。虽然很多航司考虑、并尝试神经网络理念的落地应用和参考海外航司的实绩,但是还有很多环节和体系需要重新考虑和建设。

01 前言

数字化时代,数据是核心企业资产,也是内部运营和生产的关键,但是其需要治理;而治理的其中一个结构就是充分体现航司业务能力的数据模型和数据架构。其在分析体系中,解决挖掘、洞察及智能决策;而在应用体系中,承载的不仅仅是当前系统应用的状态,更支撑着系统的交互和联动。所以需要在运控领域参考行业、国际、国家相关标准,形成适合航司自身的数据模型及存储逻辑,并且面向OLTP和OLAP两类场景,构建好运控领域的整体数据架构,让存储在其中的数据模型真正能够高效运转起来。

02 有关数据的关键术语

自航班运行控制及相关保障恢复起步伊始,其就应该存在四种不同类型的数据库和数据存储模式,来支撑整体控制论在该领域的落地,只不过随着技术的飞速发展,其在整体数据的端到端供应链视角,需要补强和优化一些环节,而这不是简单数据中台理念能够实现的,其还是需要根据企业架构、企业数据模型等方法论和多年实践而生。

操作数据存储(实时),用于用户的实时操作、及业务运营事件。

数据仓库(历史),用于从历史信息中挖掘、和切分信息,以获得业务战略洞察力。

数据仓库(日志),用于存储和审核应用程序和事务的所有日志信息。

元数据库,按照数据结构来组织、存储和管理数据的仓库。

02.1ODS,Operational Data Store

ODS,运营数据存储。首先ODS是一个中央数据库,它提供来自多个事务系统的最新数据的快照,用于业务实时全貌报告。它使组织能够将来自各种来源的原始格式的数据合并到单个目标中,以使其可用于业务实时全貌报告。在航班运行调度及保障领域,其是数字孪生概念下航班运行在数字世界的实时快照,其在一个特殊的地方提供来自多个来源的最新、干净的数据,并专门处理当前业务数据和基本状态级报告,因为ODS不断覆盖数据。ODS存储的是相关的(Linkable)的飞行、运行、机务、机组、地服、空管、报文等等已经完全结构化并且关联在一起的最新数据状态和航班运行信息;需要有专门的架构支持上述特定领域的数据按照运行及签派的角色进行动态集成和整合,从而便于后续数据服务和发布,以及用户使用。其好处主要适用于业务运营。

EDS公司曾经在CO\UA\DL等的运控项目交付中,注重更全面的数据集成。将AOC和OCC作为统一整体进行建设,更好的发挥实时和集成数据的作用,用于解决当下的运行数据可视化后,其实更可以高效的提供运行过程中的统一决策和调度。并且更能够高效积累历史经验数据和大数据、数仓等IDS视角的后续能力。

ODS提供了一个聚合的储存库,以前孤立或通信效率低下的IT系统可以接入该储存库。ODS同时具有时变性、面向主题、集成性,并且没有波动性产生的限制。

ODS报告侧重于业务数据的快照,可能比单个基础系统的报告更复杂。ODS的架构旨在提供从多个系统集成的数据的综合视图,因此报告可以提供关于业务过程的整体视角。

操作状态的最新视图还使用户在深入研究组件化的系统之前更容易诊断问题。例如,ODS使签派员能够立即找到飞行中的航班、其状态以及任何可能有帮助的保障异常处置信息。

ODS 包含关键的、对时间敏感的业务规则,例如,当ACARS更新预计到达时间延时10分钟时,将自动通知HCC登机口保障单元的规则。总的来说,这些规则是一种过程自动化,可以大大提高效率,如果没有当前和集成的运营数据,这是不可能实现的。

02.2 ODES,Operational Data Engine & Store

ODES,运营数据引擎及存储,此概念来自于达美航空的一篇对外论文,其也是在我前身服务的FltOps产品线交付之后的事情。当初在达美航空交付的时候所沿用ODS设计及数据模型落地中,有一个BEL(Business Event Logging)的数据库,其存储着整个运控系统各类消息、报文、指令等等事件信息,并且按照航班维度、机场维度等,且以时序的方式记录和整合各类事件信息的历史。便于后续以各种维度,尤其是签派员座席及Flight Desk视角去抽取运控座席的事件历史、ODS概况数据变更溯源等。

之后,达美将各类规则与事件驱动相互融合,建立了“Delta Nervous System”/达美神经系统,来整体驱动PSS及运控各个领域的联动。在运行数据整合的基础上,将各个协同环节通过事件驱动的方式打通,构建体系的事件驱动和传到的神经网络。优化数据存储,面向业务事件进行数据模型的构建。

达美的数字基础设施(称为Delta Neurous System,DNS)由航司的信息服务部门Delta Technology开发,它接收、存储、组织、同步和分发运营航空公司所必需的所有数据。

DNS实时地传递每天数千个“事件”的信息,从购票或登机牌扫描到登机口或到达时间的变化。

通过支持不同功能的层来实现:最接近客户的设备服务层记录事件并更新信息。组件包括预订工作站和登机牌扫描仪;在下一层中,信息传送通道调整数据的格式,以适合显示数据的设备,从工作站到门侧乘客信息屏幕;公共应用程序服务允许应用程序开发人员使用可重用的工具和流程快速、轻松地创建新软件;数据代理层从企业数据库中检索数据位,将其组装到为使用信息的业务上下文设计的包中,并确保请求者有权看到它。

达美在ODS基础上强调运行数据的变更历史的处理和保存及使用,将航班事件、运行调度事件、告警及航情通告等作为特定的存储方式和发布消费基础,即ODES;其本质就是当前技术领域的CQRS和微服务的关键要求,以实时数据和未来数据为主,但也存储当前运行数据的历史修改版本等,并且为使用便捷提供轻度聚合的数据;更强调数据架构及数据建模,必须拥有良好的数据存储及数据项的关联能力,能够应对多元数据接入的不确定性及后续整合使用的要求;在满足第三范式的原有ODS领域的星型建模基础上,引入CQRS的数据关联及存储机制,实现ODES,让数据之间的关联实现松耦合。

02.3 IDS,Information Data Store

IDS,信息数据存储。其在“集成集约、通达协同”基础上,航司运行逐渐强调IDS的建设,去提高运行数据的洞察及商业智能应用对于运行的智能化价值。以T+1历史数据为主,尽量保持全量,用户特定场景的数据建模、分析挖掘、算法及推演应用等;要求时序性质的历史数据存储、及相关数据建模;利用元数据相关标准和手段,提升数据质量和权威性;根据应用场景选用针对性的技术(主要是大数据相关),决策相关存储、计算、查询、挖掘等应用要求;可以与企业大数据平台(上云入湖)的全局企业数据资产平台相整合;利用租户、沙箱等手段,实现对外场景应用的数据支撑;即数据湖之上的数据集市,按需选用各类大数据技术。

ODES便于从某一个运行主体,例如航班、保障资源、登机口等进行时序历史数据提取,用户人工智能等趋势预测及拟合分析,从而减少ODS参与数据量。但最终为了整体基于历史数据的使用场景和整体决策,需要最后将时序数据分散和同步到IDS。

一套按照时序和主题建立的运行领域的数据仓库,或EDW。

相对局限用于运行领域的各类离线深度分析及智能决策,例如专家系统的数据输入源头。

基于航班动态,将全部航班的变化按照航班、登机口、签派员、坐席、机场、机组等将基本全部相关的数据进行镜像的存储。

一般来自于运控中航班事件数据库,或ODES的数据,即以此作为数据源头。

航班运行过程中将出现大量的变化历史,其可用于后续的各类分析,尤其是人工智能应用场景;则需要按照时间顺序将特定维度的数据实现进行单独存储和关联。

02.4 MDR,Metadata Repository

MDR,元数据存储。首先元数据是描述信息资源或数据等对象的数据,为数据的接入和治理提供数据标准及质量要求。提供行业、国际、国家、企业及个性化的数据标准及质量要求,用于全局数据的处理及加工,从而逐级和分领域的实现权威的数据基础,避免后续决策及使用的口径及质量问题。元数据存储库提供了一个单一(尽管通常是逻辑的)存储库,用于收集、集成、存储、共享和可视化元数据及其现有功能和结构。元数据所在的存储库提供关键功能:

MDR是一种应用程序,它根据监管要求管理数据标准;

所有数据采集仪的标准变量定义;

对协议的单一解释;

提高了一致性和数据质量;

缩短了集成和辅助数据使用的时间;

为了更进一步,元数据存储库的原型元模型出现了。元数据存储库模型包含各种服务、功能和业务流程,这些服务、功能和业务流程支持针对每个业务视角执行元数据管理,即使是那些争用数据服务的视角。将根据IATA及行业内经验,定义各个数据项的规范表达方式,长度,精度,类型等。并用于后续数据校验,清理等场景。同时对于基础数据中的应用元数据,也将专门梳理和定义,譬如Delay Code等。

02.5 NGDS,Next Generation Data Service

NGDS,下一代数据服务。当数据存在了、且集中了、同时按主题等使用视角进行了整合,那就需要对于航班运行的实时镜像进行对外数据的服务能力建设。

具备可视化的界面,通过配置和编写简单SQL,甚至勾选数据字段等模式,实现数据服务接口的快速配置和上线发布;

可以在良好的ODS基础之上,1天(实际中是1/2个小时)之内上线一个生产系统的数据服务;

具备微服务管理及调度控制的全部功能和相应技术实现。能够敏捷的实现数据服务接口的定义、配置、上线及发布等;

必须拥有以服务接口方式发布数据相关的权限及认证等安全机制,保障相关数据更细粒度的安全可控;

能够形成注册中心、配置中心、网关,链路跟踪等针对性的微服务能力和框架建设;

甚至API集市的能力等等这些能力,就是下一代数据服务需要具备的能力。

02.6 EDM,Enterprise Data Model

EDM,企业数据模型。其是整个组织中生成和使用的数据的集成视图。它包含了适当的行业视角。EDM表示数据的单个集成定义,对任何系统或应用程序都是无偏见的。它独立于数据的物理来源、存储、处理或访问的“方式"。该模型统一,形式化并代表了对组织重要的事情,以及管理它们的规则。EDM是用于集成的数据体系结构框架。它支持跨职能和组织边界识别可共享和/或冗余的数据。集成数据为所有人的利益提供了"单一版本的事实"。它最大限度地减少了数据冗余、差异和错误,并是实现数据质量、一致性和准确性的核心。作为数据架构框架,EDM是所有数据系统设计的"起点"。该模型可以被认为是建筑蓝图对建筑物的想象。提供可视化手段,以及支持数据系统规划、构建和实施的框架。对于企业数据计划,例如ODS或IDS,EDM是强制性的,因为数据集成是任何此类工作的基本原理。在航司领域,虽然数据将被投放到各自的主题域中,但是一个关键是如何将相似的数据和应用场景关联度较大的数据进行就近存储,则需要整体规划航司的数据体系为如下七类:通用及基础数据/CRD、飞行营运数据/FOD、旅客服务数据/PSD、机场营运数据/AOD、营销营运数据/MOD、财务收益计算数据/FBSD、员工资源数据SRD。

EDM有助于数据集成,减少遗留系统中固有的数据孤岛等一系列企业架构中起着至关重要的作用:

数据质量:数据是重要的企业资产,因此其质量至关重要。不同的冗余数据是导致数据质量差的主要因素之一。EDM对于数据质量至关重要,因为它暴露了冗余数据中固有的数据差异。现有的数据质量问题可以通过将数据系统"映射"到EDM来识别。由于新的数据系统是从企业数据模型框架构建的,因此在实施之前,许多潜在的数据质量问题将被暴露和解决。

数据所有权:企业数据的所有权很重要,因为它具有可共享的性质,特别是在维护和管理方面。EDM通过识别和记录跨越业务和组织边界的数据关系和依赖关系,用作数据所有权管理工具。因此,支持"共享"所有权的概念,这在企业数据计划中至关重要。

数据系统可扩展性:EDM 支持可扩展的数据体系结构。可扩展性是扩展或延伸系统功能的能力,有效满足用户不断变化的环境需求。可扩展的系统能够添加或扩展功能,几乎没有负面影响。基于战略业务观点,独立于技术的EDM、支持可扩展性、能够以最小的 IT 变更进入新的机遇领域。

行业数据集成:没有企业在真空中运作。由于EDM包含外部视图或"行业契合度",因此它增强了组织在其行业内共享通用数据的能力。同一行业的组织通常使用一些相同的基本数据。组织还可以与相关行业或"业务合作伙伴"共享数据。例如,在航空业中,数据通常"与汽车租赁公司共享"。EDM以其行业视角,包含行业数据集成框架。

集成打包的应用程序:EDM可用于支持打包应用程序的规划和购买,以及它们的集成实施。这是通过将打包的应用程序"映射"到EDM来实现的,从而在企业中建立其"适合度"。由于现有系统也"映射"到EDM,因此可以识别打包应用程序和现有系统之间的集成点,从而为通过打包产品传输一致质量数据的路线图。

战略系统规划:由于EDM独立于现有系统,因此它代表了一种战略观点。它还标识数据依赖关系。当现有系统映射到EDM时,可以执行战略差距分析,确定业务的战略信息需求。通过差距分析和数据依赖关系,可以确定数据系统发布的优先级。

03 后续

由于篇幅所限,本篇行业数据模型及数据体系之后,将针对航班运行调度领域的数据治理的本质问题、及核心工作进行分享,从而明确该领域的数据架构、数据模型、行业特点、领域本质这四个层面必须融合在一起,为该领域自适应控制论的落地提供支持。

   
885 次浏览       16
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训

最新活动计划
UAF架构体系与实践 5-17[北京]
用户体验与界面设计 5-22[北京]
MBSE(基于模型的系统工程)6-20[北京]
大模型微调原理与实操 6-20[厦门]
图数据库与知识图谱 6-27[北京]
Linux内核编程及设备驱动 7-25[北京]
 
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...