您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
淘宝、美团、滴滴分别如何搭建大数据平台
 
作者: 李智慧
  124  次浏览      
 2021-11-18
 
编辑推荐:
本文主要简单介绍下 淘宝、美团和滴滴的大数据平台是如何搭建的。
本文来自于博文视点Broadview ,由Alice编辑、推荐。

常规的大数据平台架构方案是基于大数据平台Lamda架构设计的。事实上,业界也基本是按照这种架构模型搭建自己的大数据平台。

下面我们来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路。

淘宝大数据平台

淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司,图1是淘宝早期的Hadoop大数据平台,比较典型。

图1

淘宝的大数据平台基本分成三部分,上面是数据源与数据同步模块;中间是云梯1,即淘宝的Hadoop大数据集群;下面是大数据的应用,即使用大数据集群的计算结果。

数据源主要来自Oracle和MySQL的备库,以及日志系统和爬虫系统,这些数据通过数据同步网关服务器导入Hadoop集群。其中,DataExchange非实时全量同步数据库数据,DBSync实时同步数据库增量数据,TimeTunnel实时同步日志和爬虫数据。数据全部写入HDFS。

在Hadoop中的计算任务会通过天网调度系统,根据集群资源和作业优先级,调度作业的提交和执行。计算结果写入HDFS,再经过DataExchange同步到MySQL和Oracle数据库。处于平台下方的数据魔方、推荐系统等从数据库中读取数据,就可以实时响应用户的操作请求。

淘宝大数据平台的核心是位于架构图左侧的天网调度系统,提交到Hadoop集群上的任务需要按序、按优先级调度执行,Hadoop集群上已经定义好的任务也需要调度执行,何时从数据库、日志、爬虫系统导入数据也需要调度执行,何时将Hadoop执行结果导出到应用系统的数据库,仍然需要调度执行。可以说,整个大数据平台都是在天网调度系统的统一规划和安排下运作的,如图2所示。

图2

DBSync、TimeTunnel、DataExchange这些数据同步组件也是淘宝内部开发的,可以针对不同的数据源和同步需求导入、导出数据。这些组件淘宝大多已经开源,我们可以参考使用。

美团大数据平台

美团大数据平台的数据源来自MySQL数据库和日志,数据库通过Canal获得MySQL的binlog,输出给消息队列Kafka,日志通过Flume输出到Kafka,如图3所示。

图3

Kafka的数据会被流式计算和批处理计算两个引擎分别消费。流处理使用Storm进行计算,结果输出到HBase或者数据库。批处理计算使用Hive进行分析计算,结果输出到查询系统和BI(商业智能)平台。

数据分析师可以通过BI产品平台进行交互式的数据查询访问,也可以通过可视化的报表工具查看已经处理好的常用分析指标;公司高管也可以通过平台上的天机系统查看公司主要业务指标和报表。

美团大数据平台的整个过程管理通过调度平台进行管理。公司内部开发者使用数据开发平台访问大数据平台,进行ETL(数据提取、转换、装载)开发,提交任务作业并进行数据管理。

滴滴大数据平台

滴滴大数据平台分为实时计算平台(流式计算平台)和离线计算平台(批处理计算平台)两个部分。

实时计算平台架构如图4所示。数据采集以后输出到Kafka消息队列,消费通道有两个,一个是数据ETL,使用Spark Streaming或者Flink将数据进行清洗、转换、处理后记录到HDFS中,供后续批处理计算;另一个通道是Druid,计算实时监控指标,将结果输出到报警系统和实时图表系统DashBoard,如图4所示。

图4

离线计算平台架构如图5所示。滴滴的离线大数据平台是基于Hadoop 2(HDFS、Yarn、MapReduce)和Spark以及Hive构建的,并在此基础上开发了自己的调度系统和开发系统。调度系统和前面其他系统一样,调度大数据作业的优先级和执行顺序。开发平台是一个可视化的SQL编辑器,可以方便地查询表结构、开发SQL,并发布到大数据集群上。

图5

此外,滴滴还重度使用HBase,并对相关产品(HBase、Phoenix)做了一些自定义的开发,维护着一个和实时、离线两个大数据平台同级别的HBase平台,它的架构图参见图6。

图6

来自实时计算平台和离线计算平台的计算结果被保存到HBase中,然后应用程序通过Phoenix访问HBase。而Phoenix是一个构建在HBase上的SQL引擎,可以通过SQL方式访问HBase上的数据。

学架构就是学架构模式

可以看到,这些知名大厂的大数据平台真的是大同小异,虽然由于各自场景和技术栈的不同,在大数据产品选型和架构细节上略有差异,但整体思路基本上都是一样的。

不过也正是这种大同小异,让我们能从各个角度了解大数据平台架构,对大数据平台架构有更深刻的认知。

我在阿里巴巴工作期间,有一阵子不断参加各种基础技术产品的架构评审会。有一次,另一个和我一样经常参加这类会议的架构师说:“我感觉这些产品的架构怎么都一样”。经他一提醒,大家纷纷点头称是,好像确实如此。

同一类问题的解决方案通常是相似的。一个解决方案可以解决重复出现的同类问题,这种解决方案就称为模式。模式几乎无处不在,一旦一个解决方案被证明是行之有效的,就会被重复使用解决同类的问题。

所以我们看到,很多大数据产品的架构也都差不多,比如Hadoop 1、Yarn、Spark、Flink、Storm,这些产品的架构部署真的是太像了。

对于有志于成为架构师的工程师来说,一方面当然要提高自己的编程水平,另一方面也可以多看看各种架构设计文档,多参加一些架构师技术大会。

欢迎参加课程
大数据平台搭建与高性能计算
2021年11月18-19日
   
124 次浏览       
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训

最新活动计划
嵌入式linux内核、开发、性能优化 12-13 [北京]
软件开发过程中的项目管理 12-16 [北京]
配置管理方法、实践与应用 12-20 [北京]
Springboot&Cloud、Java SSM框架 12-27 [直播]
深度学习与知识图谱最佳实践 12-27 [直播]
UML+EA+面向对象分析设计 1-21 [直播]
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...