边缘云平台架构及建设思路-云计算-火龙果软件

捐助

边缘云平台架构及建设思路

作者：吕华章陈丹等

6394 次浏览

2019-11-14

编辑推荐:

本文介绍了边缘云的概念，边缘业务平台的搭建涉及到的基础资源层、虚拟化层、应用使能层及业务编排管理等相关内容。
本文来自于微信公众号bianyuanyun，由火龙果软件Luca编辑、推荐。

摘要

边缘云整个产业是由电信运营商、电信设备商、IT 厂商、第三方应用开发商、内容提供商、终端用户等多个利益共同体组建的生态系统。其中，电信运营商是整个产业生态链的核心，也是整个产业合作的基石。借助于边缘云平台的搭建，电信运营商可以向第三方应用开发商开放其平台能力，快速推出面向用户的创新业务，缩短产品的上市时间。边缘业务平台的搭建涉及基础资源层、虚拟化层、应用使能层及业务编排管理等。该边缘业务平台是开放、开源的 PaaS 平台，可以为开发者、业务提供方提供丰富的网络能力开放和服务以及统一的 API。运营商可以自建PaaS平台，既可以自主研发丰富的边缘云平台能力和服务，也可以集成第三方的各类平台能力，以提供 PaaS 能力，包括精准定位、加速、业务分流、 IoT 等。边缘业务平台能力开放可以安全高效地将基础网络服务能力提供给应用提供方，还可在第三方应用之间实现服务能力的可靠共享，促进丰富的边缘应用生态，以满足各种边缘应用场景。

正文

1、引言

边缘云，是一种在网络边缘或靠近用户接入点侧部署云数据中心的技术。边缘云是结合云计算、大数据、人工智能及IoT 等技术并支撑各行业数字化转型的关键基础设施。未来，边缘云将提供更加开放的边缘业务PaaS 平台，为应用开发者提供丰富的平台服务能力及统一API，降低开发门槛和成本，支撑上下游生态的集成，从而加速边缘应用的创新、业务孵化和商用推进。

2.1、运营商通信云整体架构

通信云是基于运营商已有网络建设部署与运营经验，以支撑网络的云化演进、匹配网络转型部署、统一构建基于 SDN/NFV/云计算为核心技术的网络基础设施。未来 5G 网络各网元都将基于 NFV 技术，实现全云化部署。运营商可以基于CORD（ central office re-architected as a data center）改造传统端局为数据中心。未来网络架构横向将采用以 DC（ data center）为中心的三级通信云 DC布局，在不同的层级分布式部署和构建边缘、本地、区域 DC，统一规划通信云资源池，实现面向固网/移动网/物联网/企业专线等多种接入的统一承载、统一服务。而云化网络的总体架构，横向依然沿用传统通信网络的接入网、城域网、骨干网架构，纵向演进包括传送承载、 IP 地址、网络功能虚拟化、网络管理与编排的分层体系架构。

其中边缘 DC 和综合接入局房是未来运营商部署边缘云的可选位置，通信云整体架构如图 1 所示，其中， MEP-O 指多接入边缘平台编排器， MEP-M指多接入边缘平台管理。

（ 1）边缘 DC边缘

DC 在全国范围内有 6 000～7 000 个，端到端时延小于10ms，边缘 DC 化改造主体是汇聚机房。边缘DC 以终结媒体流功能并进行转发为主，主要部署接入层以及边缘计算类网元。未来的 5G RAN-CU、 MEC、 BNG-U、 OLT-U 和 UPF等网元，均可根据低时延、高带宽等业务特性，灵活部署在边缘 DC，面向网络边缘侧用户提供位置感知、无线网络信息等服务。边缘 DC 的部署，可以将云服务环境、计算、存储、网络、加速等资源部署到网络边缘侧，实现各类应用和网络更紧密的结合，用户也将获取更为丰富的网络资源和业务服务。

（ 2）综合接入局房

综合接入局房在全国范围内有 6 万～7 万个，端到端时延在 2～5 ms。综合接入局房以提升资源集约度和满足用户极致体验为主，实现面向公众/政企/移动/固网等用户的统一接入和统一承载。综合接入局房分布广泛，最低的部署位置可以位于村镇，因此对时延、带宽要求特别高的业务场景，如 5G CU、 DU、 MEC 和 vCPE 等，可以按需部署至综合接入局房，亦可基于现有机房条件直接入驻。考虑到综合接入局房主要部署接入型/流量转发型设备，同时综合接入局房的条件较边缘 DC也更为恶劣，改造难度较大，因此暂不考虑综合接入局房的统一基础设施 DC 化改造（省分根据实际业务需求进行改造）。

2.2 、边缘计算平台架构

边缘业务平台的搭建涉及基础资源层、虚拟化层、应用使能层及业务编排管理等。运营商将致力于打造开放、开源的边缘业务 PaaS 平台，为开发者提供丰富的网络能力开放和服务以及统一的 API，如图 2 所示。

2.2.1 基础资源层

边缘云平台的基础资源主要体现在服务器的形态。而服务器内部的基础资源主要分为计算资源、存储资源、网络资源和加速资源。运营商搭建边缘云平台所选择的服务器形态主要包括通用型服务器和边缘定制化服务器。目前边缘云所选用的通用型服务器主要包括机架式服务器和刀片式服务器。一般边缘云集群包含的服务器数目在 10～20 台。但是考虑到运营商各个机房条件不同，未来边缘云所选用的服务器将朝着定制化方向发展。由于运营商的边缘机房普遍存在电力不足、机房空间狭小、散热困难、可用机架不足等问题，未来边缘定制化服务器将主要包括定制化一体机、小型服务器或整机柜服务器等。边缘云服务器为了迎合空间不足等问题，可能会改为挂式安装或现场部署小盒子。服务器内部硬件基础资源主要包括计算资源、存储资源、网络资源和加速资源。

（ 1）计算资源

主要包括 CPU 和内存，这部分资源是边缘云整体性能的最大保证。

（ 2）存储资源

包括不同方式的硬件存储、 HDD/SDD 以及应对不同业务的参数需求。目前多采用分布式存储使用 Ceph 集群，存储服务器配置与计算服务器相似，差别仅体现在硬盘增配；分布式存储方案建议使用在区域级边缘机房，针对需要较大存储需求的业务；从部署简易性和维护角度，边缘建议部署集中式 IP SAN 存储。在汇聚机房及以下边缘机房中，建议使用本地存储方案。存储节点可配置多个，单个存储节点内可配置多个 2.5 英寸磁盘，支持 HDD/SSD 类型，也支持 SATA/SAS 接口。支持磁盘的在线维护。

（ 3）网络资源

网络层面包括对交换能力的规定。交换能力，目前单个交换节点最大可达到Tbit/s 级交换能力，提供 1GE、 10GE、 40GE 多个物理平面。控制信令均走 10GE 网络（基础设施标准配置），媒体面需要增配高速网卡，提升吞吐性能。交换节点还负责对外提供接口的功能，通过交换对内部业务槽位的流量进行汇聚统一对外接口，降低了维护的复杂度。同时为了提高集成度，每个交换节点也可提供 XEON 处理器小系统，不额外占用业务槽位，最大限度为业务提供可用资源。

（ 4）加速资源

业务对硬件加速需求的核心原因在于以合理价格/功耗达到预期性能，即最佳性价/功耗/尺寸比。 MEC 面临的部署环境在物理资源条件相比核心机房有限的情况下，更需要通过硬件加速的方式解决业务的性能需求和环境资源不足的矛盾。从硬件实现方案角度，通用 CPU 适合信令逻辑类处理流程，涉及较多判断跳转操作，而对于大量数学密集计算、简单并行操作以及大量数据报文转发，通用 CPU 处理的效率低下，时延大，性价比很低，因此需要专有硬件处理器来处理。目前可选的硬件加速包括 GPU、 FPGA、 ASIC、智能网卡、 SOC。软件加速方案包括 DPDK、 SR-IOV 等。具体来说，可以将加速类型分为三大类，分别为计算密集型、数据转发型和视频处理型。从业务角度挖掘，不同业务都有适合采用硬件加速的技术点。

业务和加速类型的关联关系可以用表 1 来描述。

2.2.2 虚拟化层

虚拟化层目前比较成熟的方案是在 Hypervisor上运行虚拟机（VM）的方式，每个虚拟机中运行相应的 VNF 虚拟化网络功能。虚拟机方式目前比较成熟，易于实现，但是管理开销较大，性能损耗也很大。目前容器部署非常受欢迎，容器可以为边缘云提供更好的弹缩响应速度、系统容量的灵活性以及计算资源的利用率。考虑到新业务的发展以及技术演进趋势，虚拟化层要支持容器技术，以构建分布式容器云。容器支持两种部署形态，即容器部署

在物理机上或容器部署在虚拟机内。容器化部署场景下， VIM 需部署云容器引擎（ cloud containerengine），以提供高可靠、高性能的企业级容器应用管理服务，支持 Kubernetes 社区原生应用和工具，简化云上自动化容器运行环境搭建。未来发展趋势将是边缘云平台上容器部署和虚拟机部署方式共存，容器部署方式将逐渐从虚拟机运行容器过渡到裸机容器部署的方式。另外，由于边缘云资源较为稀缺，因此，虚拟化层需要进行轻量化， OpenStack 管理平台只保留必要组件，如 Nova、 Neutron、 Glance、 Cinder、Keystone 等，去除其他组件。同时，将模块进程降低，由最大 8 进程改为 2 进程。所有组件采用组件容器化，易于部署和升级。配置优化，保证资源合理利用。与计算节点合设，减少控制部分占用资源，见表 2。

2.2.3 边缘云能力开放层

运营商边缘云业务平台不仅提供各种基础服务能力，还在 ETSI 标准规范的基础上，通过制定MEC 使能 API 规范，对外提供通用的能力开放框架，服务于第三方应用，并对其进行管理。能力开放层可以安全高效地将基础网络服务能力提供给第三方应用消费，还可在第三方应用之间实现服务能力的可靠共享，促进丰富的边缘应用生态，以满足各种边缘应用场景。

目前的平台能力包括基础平台能力和扩展平台能力两类。

其中基础平台能力是提供给第三方的平台最为基本的能力，包括业务分流、边缘安全和 App注册订阅服务。业务分流是目前比较成熟的平台能力，可以保证业务本地化运行和处理，而无需上传和绕经核心网；边缘安全则保证整个边缘云端到端平台安全，提供第三方 APP 以安全的运行环境；App 注册订阅服务可以保证运营商对整个平台的掌控以及对 App 全生命周期管理。

扩展平台能力是根据业务需要进行扩展的各类能力。可以按照各类业务场景进行划分。无线信息类平台能力包括 RNIS、 LBS 定位能力、带宽管理能力等；视频类平台能力包括 vCDN、缓存、边缘视频编解码、跨层优化等；工业边缘云能力包括机器视觉、 AI 实时分析、预测性维护、工业大数据等；扩展平台能力可以由运营商自建开发，也可以集成第三方能力。MEP 平台作为 VNF 部署在边缘云平台上，同时还有其他无线类单元部署，比如 RAN 侧的CU、 UPF 等网元均可下沉到边缘云平台并部署。

2.2.4 应用层

应用层主要包括各类第三方 App 部署和提供第三方服务，包括边缘云可以使能的各类场景，如视频、车联网、工业互联网、智能制造、政企专网、安防监控、智慧农业、 IoT 等。

对于 App的部署，存在两类方式：第一种方式是 App 使用边缘云的基本资源 NFVI，边缘云平台管理需要对App 的全生命周期管理，而 App不使用平台的各类能力；第二种方式是 App不仅部署在边缘云平台使用 NFVI 资源，同时还使用边缘云平台提供的各类能力，比如一款 App使用精准定位能力为片区用户进行文案推送，一款 App使用 RNIS 能力为片区用户进行 QoS保证等。第二种方式是运营商未来主打的对App的运营方式，计费准则按照平台能力使用和平台基础资源使用进行计费。

2.2.5 管理编排部分

管理编排部分主要分为云平台管理编排和SDN 控制器。

（ 1） VIM

VIM 通常指管理虚拟资源的平台，管理一个域下的NFVI。数据中心分层架构中的每个边缘数据中心、本地数据中心和区域数据中心对应一个NFVI，都由一个 VIM 来管理。目前业界广泛使用 OpenStack 或者基于开源 OpenStack 的增强VIM 实现企业私有云的扩展功能，或者支持容器管理的 Kubernets 技术。未来 VIM 管理中包括对虚拟机的管理和容器资源的管理。

（ 2） VNFM

负责VNF 网元的生命周期管理，包括 VNF网元的创建、修改、删除、弹性扩/缩容等。

（ 3） MANO

在通信云整体布局中，区域 DC 会进行区域MANO 和统一云管平台的部署，实现对整个通信云基础设施的管理。对于传统的 MANO，只能管理满足 ETSI-NFV 规范的 VNF。而在边缘云边缘业务平台上，不仅可以部署 VNF，还需要部署第三方的边缘应用（ edge-App），因此还需要对边缘应用进行编排管理。

（ 4） NFVO

基于统一云管平台的授权，对授权的资源进行统一管理和编排，完成资源及业务的定义、协同调度及生命期管理，使能业务快速上线。对于跨区域的业务由集团 NFVO 负责编排。

（ 5） SDN 控制器

SDN控制器就是对整个边缘云互联之间的SDN 进行控制。当边缘 DC业务达到一定集群时，可考虑采用地市级 SDN 组网的方式，以实现站点间 MEC 的协同。 SDN控制器自核心 DC 到边缘DC 统一管控，采用弱控+EVPN/VxLAN 方式。对于大型边缘云或中型边缘云，其位置在地市或区县级，可考虑完整的 spine-leaf 结构。但是小型区县的边缘云不具备 spine-leaf 结构。

3 边缘云标准化进展

目前国内外各大标准化组织均开启了对边缘云技术的标准化工作，包括平台架构、接口规范、垂直行业使能、管理编排策略等多个方面内容。ETSI（欧洲电信标准化组织）在 2014 年率先启动 MEC 标准项目。这一项目组旨在移动网络边缘为应用开发商与内容提供商搭建一个云化计算与IT环境的服务平台，并通过该平台开放无线侧网络信息，实现高带宽、低时延业务支撑与本地管理。联盟的初创成员包括 HP、 Vodafone、Huawei、 Nokia、 Intel 以及 Viavi。目前 ETSI MEC标准化组织已经吸引了国内外数百家运营商、设备商、软件开发商、内容提供商参与其中， ETSIMEC 的影响力也逐渐扩大，如图 3 所示。

在 2017 年年底， ETSI MEC标准化组织已经完成了第一阶段基于传统 4G 网络架构部署，定义边缘计算系统应用场景、参考架构、边缘计算平台应用支撑 API、应用生命周期管理与运维框架以及无线侧能力服务 API （ RNIS/定位/带宽管理）。目前正在进行的第二阶段，则主要聚焦在包括5G/Wi-Fi/固网在内的多接入边缘计算系统，重点覆盖 MEC in NFV 参考架构、端到端边缘应用移动性、网络切片支撑、合法监听、基于容器的应用部署、 V2X 支撑、 Wi-Fi 与固网能力开放等研究项目，从而更好地支撑 MEC 商业化部署与固移融合需求，第二阶段的标准化工作完成后，将开启第三阶段的标准维护和标准新增阶段。 ETSIMEC 标准化的内容主要包括研究 MEC 需求、平台架构、编排管理、接口规范、应用场景研究等。随着 ETSI MEC 影响力的扩大， 3GPP亦紧锣密鼓投入边缘计算支撑研究。 4G CUPS 与 5G NewCore 引入控制面与转发面分离架构，转发面支持分布式部署到无线网络边缘，控制面集中部署并控制转发面，从而实现业务按需本地分流。 SA2 5G系统架构在本地路由与业务操纵、会话与服务连续性、网络能力开放、 QoS 与计费等各方面给予边缘计算全面支持。此外， SA5 网络功能管理与SA6 北向通用 API 框架研究也将进一步考虑边缘计算需求。作为 ETSI MEC 的有效补充， 3GPP 正在加速 MEC 商用化进程。 3GPP 对 MEC 的标准化主要集中在23.501-23.502 中[8-9]。CCSA （ China Communications StandardsAssociation，中国通信标准化协会）作为国内的通信标准化组织，在 2017 年也开启了边缘云相关标准化工作。截止到目前，多个工作组均开启了标准化制定，见表 3：

然而，边缘云是包括应用、平台、网络在内的生态系统，仅依托标准组织无法快速推进行业发展。因此需要诸如 OpenFog Consortium、 ECC 联盟、AII 工业边缘计算组、 5GAA 等边缘云产业联盟和垂直行业联盟，深入挖掘行业应用场景，并通过运营商整合产业资源，将应用需求与边缘计算平台标准联合起来，共同推进边缘计算产业发展。

6394 次浏览