求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
 
Hadoop原理、部署、编程与性能调优   
 
郭洪磊
曾任盛大在线资深工程师,阿里巴巴B2B资深工程师。
报名课程   7651 次浏览    1099 次 
时间地点:北京 、上海、深圳根据报名开班
课程费用:5000元/人,详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册
    本次课程以实际的演练(环境部署,程序开发)为主,并分享实际大规模Hadoop性能调优经验,实践与理论相结合,让学员能够对Hadoop生态系统有一个清晰明了的认识,理解Hadoop系统适用的场景,掌握MapReduce,Hive和HBase系统的中高级应用开发技能,搭建稳定可靠的Hadoop集群,满足生产环境的标准。并且掌握MapReduce,Hive和HBase系统性能调优技能,能够实际应用在项目中。
课程目标:
  • Hadoop大观园,介绍Hadoop生态系统的各个组成模块与适用场景。
  • Hadoop部署与编程,讲解演示在生产环境中选用和配置服务器需要注意的事项,介绍HDFS编程的Java API使用。
  • Hadoop集群架构搭建
  • MapReduce编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
  • Hive编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
  • HBase编程与调优:讲解演示HBase的中高级应用开发与调优技能。
  • Hadoop系统管理:讲解Hadoop系统的高级配置与管理技能。

 


培训对象:具有Hadoop一般应用、部署经验和编程基础。
学员基础:Hadoop应用开发工程师
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容: 2天
Hadoop大观园
  • 文件存储-HDFS
  • HDFS-工作原理
  • 数据计算MapReduce
  • MapReduce工作原理
  • SQL分析-Hive
  • 海量实时读写-HBase
  • 工作流调度-Ooize
  • 分布式协调系统—Zookeeper
Hadoop部署与编程
  • Hadoop版本介绍与选择
  • Hadoop部署实践
    a) Hadoop安装文件构成与配置体系
    b) 机器硬件建议配置
    c) 系统环境配置
    d) 基本参数配置与说明
    e) 进程分布规划与启动
  • Hadoop基本使用操作
    a) HDFS
    b) 权限
    c) MapReduce
  • HDFS编程
    a) 开发环境准备
    b) 读文件
    c) 写文件
Hadoop集群架构搭建
  • Hadoop集群架构搭建方法
  • Hadoop集群架构性能管理
  • HDFS,NameNode,DataNode的调优和节点扩展最佳实践
  • 主要调优工具和性能监控工具
  • Hadoop集群对于硬件的要求和选型
  • Hadoop集群中对硬件、操作系统的调优方法
  • 实际案例分析
  • 基于Hadoop的集群解决方案
MapReduce编程与调优
  • MR与YARN介绍
  • 编程实战
    • 基本MapReduce程序编写
    • 基于MapReduce的高级操作(排序,分区,二次排序)
    • 基于MapReduce的Join操作
  • 调整MR框架运行参数,提升运行效率
    • 选择合适的Map与Reduce数量
    • 设置Map端参数
    • 设置Reduce端参数
  • 使用HPROF对MR任务进行Profiling
  • 代码调试
  • 运行日志
Hive编程与调优
  • Hive系统部署与搭建
  • Hive工作机制
  • 基于Hive的网站日志分析示例
  • Hive的用户自定义函数开发
  • Hive底层数据文件与数据压缩选择
    • gzip
    • bz2
    • lzo
    • rcfile
  • Hive运行参数调优
  • Hive程序编写性能建议
    • MapJoin
    • 数据倾斜
    • Join顺序
    • UDF编写注意事项
    • 快速获取结果TopN
  • 通过Explain观察Hive行为
HBase编程与调优
  • HBase系统架构
  • 基于HBase的网盘应用示例
  • HBase性能测试
  • HBase编程与调优
  • HBase系统部署与搭建
  • HBase系统架构与原理
  • HBase编程基础
  • HBase高级编程功能与实例
    • Filter
    • Coprocessor
  • HBase数据存储编码选择
    • 压缩
    • Avro
  • HBase性能测试与分析
Hadoop系统管理
  • Hadoop系统性能监控系统(Ganglia)搭建
  • Hadoop系统容灾策略
  • Hadoop资源调度策略
  • Hadoop高级配置参数
  • Hadoop安全
  • Hadoop系统监控与报警策略
  • 总结、答疑

 

7651 次浏览   1099 次
其他人还看了课程
编写高效存储过程  2916 次浏览
Oracle数据库性能优化、架构设计和运行维护  2899 次浏览
使用PowerDesigner进行面向对象建模  3089 次浏览
Oracle数据库架构及最佳实践经验  2367 次浏览
PL/SQL编程和使用技巧  3068 次浏览
Oracle Data Guard容灾与服务包  3676 次浏览
定制内训




最新活动计划
MBSE(基于模型的系统工程)4-18[北京]
自然语言处理(NLP) 4-25[北京]
基于 UML 和EA进行分析设计 4-29[北京]
以用户为中心的软件界面设计 5-16[北京]
DoDAF规范、模型与实例 5-23[北京]
信息架构建模(基于UML+EA)5-29[北京]