您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
YARN框架原理及运行机制
 
作者:编程界的小学生
 
  613  次浏览      
2020-5-18
 
编辑推荐:
本文主要介绍了YARN基本组成结构、YARN工作流程、YARN调度机制等相关内容希望对大家有帮助。
本文来自likecs.com,由火龙果软件Anna编辑、推荐。

YARN是Hadoop2.0中的资源管理系统,它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配,AM负责单个应用程序的管理。

一、YARN基本组成结构

YARN总体上仍然是Master/Slaver结构,在整个资源管理框架中,RM为Master,NM为Slaver,RM负责对各个NM上的资源进行统一管理和调度。当提交一个应用程序时,需要提供一个用以跟踪和管理这个程序的AM,它负责向RM申请资源,并要求NM启动占用一定资源的任务,不同的AM被分布在不同的节点上。

1、ResourceManager(RM)

RM是一个全局的资源管理器,负责整个系统的资源管理和分配。主要由两个组件构成:调度器(Scheduler)和应用程序管理器(ASM)。

(1)调度器

调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的任务等,即调度策略),将系统中的资源分配给各个正在运行的程序。该调度器是“纯调度器”,它不再从事任何与具体应用程序相关的工作。调度器仅根据各个应用程序的资源需求进行资源分配,资源分配单位用一个抽象概念“资源容器(简称Container)”表示,Container将内存、CPU、磁盘、网络等资源封装在一起。

(2)应用程序管理器

应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动AM、监控AM运行状态并在失败时重启程序等。

2、ApplicationMaster(AM)

提交的每个应用程序包含一个AM,主要功能包括:

与RM调度器协商获取资源(用Container表示);

为应用程序申请资源并分配给内部的任务;

与NM通信以启/停任务;

监控所有任务状态,并在任务失败时重新申请资源以重启任务;

3、NodeManager(NM)

NM是每个节点上的资源和任务管理器,一方面,它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态;另一方面,它接收并处理来自AM的Container启动/停止等各种请求。

4、Container

Container 是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用 Container表示的。YARN会为每个任务分配一个Container,且该任务只能使用该Container中的资源。

二、YARN工作流程

1、向YARN提交应用程序;

2、RM分配第一个Container,并与对应的NM通信,要求它在这个Container启动应用程序的ApplicationMaster;

3、AM首先向RM注册,通过RM可以查看应用程序的运行状态,然后它将为各个任务申请资源,并监控它的运行状态,直至运行结束;

4、AM采用轮询的方式通过RPC协议向RM申请和领取资源;

5、一旦AM申请到资源后,便与对应的NM通信,要求它启动任务;

6、NM为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务;

7、各个任务通过RPC协议向AM汇报自己的状态和进度,以让AM随时掌握各个任务的运行状态,从而可以在任务失败时重启任务;

8、应用程序运行完成后,AM向RM注销并关闭自己。

三、YARN调度机制

YARN默认使用的是最简单FIFO调度器,即一个default队列,所有用户共享,分配资源先到先得,没有优先级之分。YARN还有两种资源调度器,capacity scheduler和fair scheduler。

1、capacity scheduler

capacity scheduler调度器以队列为单位划分资源。一个个队列有独立的资源,队列的结构和资源是可以进行配置的。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群,比如队列资源限制、用户资源限制、用户应用程序数目限制。队列里的应用以FIFO方式调度,每个队列可设定一定比例的资源最低保证和使用上限,同时,每个用户也可以设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时,可暂时将剩余资源共享给其它队列。

capacity调度器具有以下几个特征:1)层次化的队列设计,保证子队列可以使用父队列设置的全部资源;2)容量保证,队列上都会设置一个资源的占比,保证每个队列都不会占用整个集群的资源;3)安全,每个队列严格的访问控制;4)弹性分配,空闲的资源可以被分配给任何队列;5)多租户使用,通过队列的容量限制,多个用户可以共享一个集群;6)操作性,yarn支持动态修改调整容量、权限等的分配,可以在运行时直接修改;7)基于资源的调度,协调不同资源需求的应用程序。

2、fair scheduler

fair调度器的设计目标是为所有的应用分配公平的资源(对公平的定义可以通过参数来设置),公平调度可以在多个队列间工作。假设有两个用户A和B,他们分别拥有一个队列,当A启动一个job而B没有任务时,A会获得全部集群资源;当B启动一个job后,A的job会继续运行,不过一会儿之后两个任务会各自获得一半的集群资源;如果此时B再有第二个job并且其它job还在运行,则它和B的第一个job共享B这个队列资源,也就是B的两个job各自占用四分之一的集群资源,而A的job仍然占用一半的集群资源,结果就是资源最终在两个用户之间平等的共享,过程如下图所示:

所有的队列都是root队列的子队列,fair调度器中的队列有一个权重属性,这个权重就是对公平的定义。每个队列内部扔可以有不同的调度策略,队列的默认调度策略可以通过顶级元素<defaultQueueSchedulingPolicy>进行配置,每个队列的调度策略可以被内部的<schedulingPolicy>元素覆盖。

当一个job提交到一个繁忙集群中的空队列时,job并不会马上执行,而是阻塞直到正在运行的job释放系统资源。为了使提交job的时间更具有预测性(可以设置等待的超时时间),fair调度器支持抢占。抢占就是允许调度器杀掉占用超过其应占份额资源队列的containers,这些containers资源便可分配到应该享有这些份额资源的队列中。需要注意抢占会降低集群的执行效率,因为被终止的containers需要被重新执行。

 
   
613 次浏览       
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新课程计划
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...