要资料 文章 文库 视频 Code iProcess 课程 认证 服务 工具 讲座吧   专家招募  
会员   
 
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘
某风电企 R语言数据分析
某车联网 数据分析与挖掘

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
 
Hadoop原理、部署、编程与性能调优   
 
郭洪磊
曾任盛大在线资深工程师,阿里巴巴B2B资深工程师。
报名课程   1958 次浏览    194 次 
时间地点:北京 、上海、深圳根据报名开班
课程费用:5000元/人,详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册
    本次课程以实际的演练(环境部署,程序开发)为主,并分享实际大规模Hadoop性能调优经验,实践与理论相结合,让学员能够对Hadoop生态系统有一个清晰明了的认识,理解Hadoop系统适用的场景,掌握MapReduce,Hive和HBase系统的中高级应用开发技能,搭建稳定可靠的Hadoop集群,满足生产环境的标准。并且掌握MapReduce,Hive和HBase系统性能调优技能,能够实际应用在项目中。
课程目标:
  • Hadoop大观园,介绍Hadoop生态系统的各个组成模块与适用场景。
  • Hadoop部署与编程,讲解演示在生产环境中选用和配置服务器需要注意的事项,介绍HDFS编程的Java API使用。
  • Hadoop集群架构搭建
  • MapReduce编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
  • Hive编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
  • HBase编程与调优:讲解演示HBase的中高级应用开发与调优技能。
  • Hadoop系统管理:讲解Hadoop系统的高级配置与管理技能。

 


培训对象:具有Hadoop一般应用、部署经验和编程基础。
学员基础:Hadoop应用开发工程师
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容: 2天
Hadoop大观园
  • 文件存储-HDFS
  • HDFS-工作原理
  • 数据计算MapReduce
  • MapReduce工作原理
  • SQL分析-Hive
  • 海量实时读写-HBase
  • 工作流调度-Ooize
  • 分布式协调系统—Zookeeper
Hadoop部署与编程
  • Hadoop版本介绍与选择
  • Hadoop部署实践
    a) Hadoop安装文件构成与配置体系
    b) 机器硬件建议配置
    c) 系统环境配置
    d) 基本参数配置与说明
    e) 进程分布规划与启动
  • Hadoop基本使用操作
    a) HDFS
    b) 权限
    c) MapReduce
  • HDFS编程
    a) 开发环境准备
    b) 读文件
    c) 写文件
Hadoop集群架构搭建
  • Hadoop集群架构搭建方法
  • Hadoop集群架构性能管理
  • HDFS,NameNode,DataNode的调优和节点扩展最佳实践
  • 主要调优工具和性能监控工具
  • Hadoop集群对于硬件的要求和选型
  • Hadoop集群中对硬件、操作系统的调优方法
  • 实际案例分析
  • 基于Hadoop的集群解决方案
MapReduce编程与调优
  • MR与YARN介绍
  • 编程实战
    • 基本MapReduce程序编写
    • 基于MapReduce的高级操作(排序,分区,二次排序)
    • 基于MapReduce的Join操作
  • 调整MR框架运行参数,提升运行效率
    • 选择合适的Map与Reduce数量
    • 设置Map端参数
    • 设置Reduce端参数
  • 使用HPROF对MR任务进行Profiling
  • 代码调试
  • 运行日志
Hive编程与调优
  • Hive系统部署与搭建
  • Hive工作机制
  • 基于Hive的网站日志分析示例
  • Hive的用户自定义函数开发
  • Hive底层数据文件与数据压缩选择
    • gzip
    • bz2
    • lzo
    • rcfile
  • Hive运行参数调优
  • Hive程序编写性能建议
    • MapJoin
    • 数据倾斜
    • Join顺序
    • UDF编写注意事项
    • 快速获取结果TopN
  • 通过Explain观察Hive行为
HBase编程与调优
  • HBase系统架构
  • 基于HBase的网盘应用示例
  • HBase性能测试
  • HBase编程与调优
  • HBase系统部署与搭建
  • HBase系统架构与原理
  • HBase编程基础
  • HBase高级编程功能与实例
    • Filter
    • Coprocessor
  • HBase数据存储编码选择
    • 压缩
    • Avro
  • HBase性能测试与分析
Hadoop系统管理
  • Hadoop系统性能监控系统(Ganglia)搭建
  • Hadoop系统容灾策略
  • Hadoop资源调度策略
  • Hadoop高级配置参数
  • Hadoop安全
  • Hadoop系统监控与报警策略
  • 总结、答疑

 

1958 次浏览   194 次
其他人还看了课程
PL/SQL编程和使用技巧  713 次浏览
Oracle数据库性能优化、架构设计和运行维护  468 次浏览
Oracle数据库架构及最佳实践经验  396 次浏览
Oracle Data Guard容灾与服务包  639 次浏览
应用 Cognos进行商业智能(数据分析和报表)  1069 次浏览
Redis和Memcached原理与应用  765 次浏览
定制内训




最新活动计划
[北京]UML和EA进行系统分析设计 10-17
[北京]代码质量标准与评审方法 10-19
[北京]Git版本控制与配置管理 10-21
[北京]敏捷测试-简单而可行 10-25
[北京]性能测试方法与技术 10-26
[北京]数据挖掘与数据分析 10-30
[北京]开发过程中的质量管理实践 10-30
[上海]软件架构设计方法案例实践 11-16
[上海]嵌入式C高质量编程 11-21
[深圳]需求分析与管理 10-19
[深圳]C#高级开发技术 10-21
 
 
 

 
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
 
 

关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号