求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
某航天科 MySQL性能优化
某大型金 Python基础与
某交通信 Oracle数据库
某通信设 Python数据分
某通信设 Python数据分
某综合性 人工智能与机器学习
某工程研 数据库设计与优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
Hadoop与Spark大数据架构专题     3347 次浏览    473 次 
 
主讲嘉宾:董老师 - 《Hadoop技术内幕》图书作者
时间地点:北京、上海、深圳 根据报名开班
课程费用:5700元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册
 
当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。
培训目标:
本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及:
  • 分布式数据收集
  • 大数据存储
  • 资源管理及分布式计算框架等

  • 本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume, HDFS, Hbase,YARN,MapReduce,Hive, Zookeeper, Spark,Storm,Spark Streaming等主流的大数据开源系统架构及应用经验。
    培训对象:软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
    学员基础:了解Java语言;了解Linux系统;
    授课方式: 小班授课(12人之内)+ 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容: 2天
    大数据架构概述 大数据层级架构及各层软件设计要求:
  • 大数据存储
  • 大数据计算框架
  • 大数据应用等
  • Hadoop生态系统概述以及版本演化
  • Hadoop生态系统及其版本演化历史
  • hadoop版本选择建议
  • Spark生态系统概述
  • Spark生态系统及其特点
  • Spark与Hadoop对比
  • 数据收集系统Flume与Sqoop 使用flume和sqoop两个系统将如下数据的数据导入Hadoop中
  • 外部流式数据(比如网站日志,用户行为数据等)
  • 关系型数据库(比如MySQL、Oracle等)中
  • 大数据存储系统HDFS与HBase HDFS 2.0 原理、特性与基本架构
  • HDFS 2.0原理与架构,与HDFS 1.0进行对比
  • HDFS 2.0新特性,包括快:照、缓存、异构存储架构等
  • HBase应用场景、原理和架构 几个HBase典型应用案例:
  • 互联网应用案例
  • 银行应用案例
  • 集群资源管理与调度系统
  • YARN应用场景
  • YARN基本架构
  • YARN资源调度
  • Zookeeper部署及典型应用
  • Zookeeper是什么
  • Zookeeper基本原理
  • Zookeeper应用
  • 大数据计算框架、平台与开源实现 批处理计算框架
  • MapReduce 2.0基本原理与架构,编程实践(涉及多语言编程)
  • 计算框架MapReduce基本原理与架构
  • 手把手介绍如何用java、C++、php等语言编写MapReduce程序
  • 数据分析系统Hive与Pig应用与比较
  • 如何使用hive和pig分析hadoop中的海量数据
  • Spark计算框架
  • Spark背景,使用以及应用案例
  • 交互式计算框架
  • Impala和presto应用场景
  • 基本架构
  • 典型应用案例
  • 流式/实时计算框架
  • storm以及Spark Streaming基本架构与特点
  • 典型应用案例
  • 数据挖掘与机器学习库 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。
    3347 次浏览   473 次
    其他人还看了课程
    Spark实践培训  1758 次浏览
    数据统计分析方法与工具、实践  2549 次浏览
    大数据分析-SparkR  2052 次浏览
    大数据落地技术系列课程  2057 次浏览
    大数据分析专题-R语言培训  3201 次浏览
    CDH Cloudera Manager管理实战与案例解析  4181 次浏览
    定制内训



    最新活动计划
    配置管理方法、实践与应用 10-11[北京]
    持续集成测试与最佳实践 10-23[北京]
    嵌入式软件架构设计与实例 10-25[北京]
    嵌入式linux内核、驱动开发、性能优化 10-28[北京]
    高可用架构设计与实践 10-29[北京]
    C#高级开发技术 11-8[北京]