要资料 文章 文库 视频 Code iProcess 课程 认证 服务 工具 讲座吧   专家招募  
会员   
 
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
IGT 数据分析与挖掘
某风电企 R语言数据分析
某车联网 数据分析与挖掘
新电信息 PL/SQL应用性
某车联网 企业级hadoop
某知名基 Mysql性能优化
摩托罗拉 大数据处理技术-基

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
 
Hadoop原理、部署、编程与性能调优   
 
郭洪磊
曾任盛大在线资深工程师,阿里巴巴B2B资深工程师。
报名课程   1360 次浏览    139 次 
时间地点:北京 、上海、深圳根据报名开班
课程费用:5000元/人,详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册
    本次课程以实际的演练(环境部署,程序开发)为主,并分享实际大规模Hadoop性能调优经验,实践与理论相结合,让学员能够对Hadoop生态系统有一个清晰明了的认识,理解Hadoop系统适用的场景,掌握MapReduce,Hive和HBase系统的中高级应用开发技能,搭建稳定可靠的Hadoop集群,满足生产环境的标准。并且掌握MapReduce,Hive和HBase系统性能调优技能,能够实际应用在项目中。
课程目标:
  • Hadoop大观园,介绍Hadoop生态系统的各个组成模块与适用场景。
  • Hadoop部署与编程,讲解演示在生产环境中选用和配置服务器需要注意的事项,介绍HDFS编程的Java API使用。
  • Hadoop集群架构搭建
  • MapReduce编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
  • Hive编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
  • HBase编程与调优:讲解演示HBase的中高级应用开发与调优技能。
  • Hadoop系统管理:讲解Hadoop系统的高级配置与管理技能。

 


培训对象:具有Hadoop一般应用、部署经验和编程基础。
学员基础:Hadoop应用开发工程师
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容: 2天
Hadoop大观园
  • 文件存储-HDFS
  • HDFS-工作原理
  • 数据计算MapReduce
  • MapReduce工作原理
  • SQL分析-Hive
  • 海量实时读写-HBase
  • 工作流调度-Ooize
  • 分布式协调系统—Zookeeper
Hadoop部署与编程
  • Hadoop版本介绍与选择
  • Hadoop部署实践
    a) Hadoop安装文件构成与配置体系
    b) 机器硬件建议配置
    c) 系统环境配置
    d) 基本参数配置与说明
    e) 进程分布规划与启动
  • Hadoop基本使用操作
    a) HDFS
    b) 权限
    c) MapReduce
  • HDFS编程
    a) 开发环境准备
    b) 读文件
    c) 写文件
Hadoop集群架构搭建
  • Hadoop集群架构搭建方法
  • Hadoop集群架构性能管理
  • HDFS,NameNode,DataNode的调优和节点扩展最佳实践
  • 主要调优工具和性能监控工具
  • Hadoop集群对于硬件的要求和选型
  • Hadoop集群中对硬件、操作系统的调优方法
  • 实际案例分析
  • 基于Hadoop的集群解决方案
MapReduce编程与调优
  • MR与YARN介绍
  • 编程实战
    • 基本MapReduce程序编写
    • 基于MapReduce的高级操作(排序,分区,二次排序)
    • 基于MapReduce的Join操作
  • 调整MR框架运行参数,提升运行效率
    • 选择合适的Map与Reduce数量
    • 设置Map端参数
    • 设置Reduce端参数
  • 使用HPROF对MR任务进行Profiling
  • 代码调试
  • 运行日志
Hive编程与调优
  • Hive系统部署与搭建
  • Hive工作机制
  • 基于Hive的网站日志分析示例
  • Hive的用户自定义函数开发
  • Hive底层数据文件与数据压缩选择
    • gzip
    • bz2
    • lzo
    • rcfile
  • Hive运行参数调优
  • Hive程序编写性能建议
    • MapJoin
    • 数据倾斜
    • Join顺序
    • UDF编写注意事项
    • 快速获取结果TopN
  • 通过Explain观察Hive行为
HBase编程与调优
  • HBase系统架构
  • 基于HBase的网盘应用示例
  • HBase性能测试
  • HBase编程与调优
  • HBase系统部署与搭建
  • HBase系统架构与原理
  • HBase编程基础
  • HBase高级编程功能与实例
    • Filter
    • Coprocessor
  • HBase数据存储编码选择
    • 压缩
    • Avro
  • HBase性能测试与分析
Hadoop系统管理
  • Hadoop系统性能监控系统(Ganglia)搭建
  • Hadoop系统容灾策略
  • Hadoop资源调度策略
  • Hadoop高级配置参数
  • Hadoop安全
  • Hadoop系统监控与报警策略
  • 总结、答疑

 

1360 次浏览   139 次
其他人还看了课程
Oracle10g Stream原理与应用  586 次浏览
互联网数据库架构设计  1064 次浏览
Oracle 调优培训计划  516 次浏览
Oracle备份与恢复培训大纲(标准三天)  908 次浏览
Oracle数据库开发与管理  1155 次浏览
定向培养:数据分析师培训+能力认证(可报名网络课)  
定制内训




最新活动计划
[北京]DevOps体系实践工具平台2-16
[北京]Spark大数据处理案例分析2-17
[北京]用户体验&界面设计2-20
[北京]自动化测试方法案例工具2-20
[北京]敏捷开发过程与项目管理2-22
[北京]大型互联网架构高级实践2-24
[北京]产品经理与产品管理2-27
[北京]SysML和EA系统设计建模3-1
[上海]大型互联网架构设计实践2-22
[深圳]软件架构设计案例与实践2-26
 
 
 

 
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
 
 

关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号