求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
某航天科 MySQL性能优化
某大型金 Python基础与
某交通信 Oracle数据库
某通信设 Python数据分
某通信设 Python数据分
某综合性 人工智能与机器学习
某工程研 数据库设计与优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

Hadoop原理、应用与优化     4065 次浏览    488 次 
专家讲师:刘老师,某大型互联网企业大数据架构师,技术委员会首席专家。
地点时间:北京 上海 深圳 根据报名开班
课程费用5000元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

《数据架构师》  认证方式  
1.知识:权威知识考试;
2.技能:真实案例实践考评;
3.经验:工作经验审核;
4.素养:未来发展潜力的评估。
 
    本课程结合大规模大数据案例,讲解完整的hadoop的工作周期中的相关的工具、原理和应用方法。涉及:采集、存储、访问、挖掘和分析、优化。

 
培训目标:
  • 大数据存储概览
  • 大数数据平台Hadoop概览
  • Hadoop集群规划
  • Hadoop简介和生态系统介绍
  • Hadoop安装和主要配置文件介绍
  • Hadoop组件介绍
  • Hadoop的HDFS模块
  • MapReducer入门和高级开发实战
  • Hive的使用和实战
  • Hbase使用
  • Hadoop集群配置介绍和维护
  • 数据抽取工具Sqoop使用
培训对象:程序员、架构师、运维工程师、数据库开发人员、后台开发人员。
学员基础:具有大数据系统知识,最好有开发或者运维经验。
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练,详见 公开课学习手册
培训内容:2天
大数据存储概览
  • 大数据的产生、引用、存储与应用
  • 大数据存储的特点
  • 大数据库的基本元素
  • 海量数据库的开发特性
  • 数据库的数据分析与挖掘应用
  • 数据仓库与数据集市
大数数据平台Hadoop概览
  • 传统大规模系统存在的问题
  • Hadoop概述
    • 文件存储-HDFS
    • HDFS-工作原理
    • 数据计算MapReduce
    • MapReduce工作原理
    • SQL分析-Hive
    • 海量实时读写-HBase
    • 分布式协调系统—Zookeeper
    • 数据抽取工具Sqoop使用
  • Hadoop分布式文件系统 
  • MapReduce工作原理 
  • Hadoop集群剖析
  • Hadoop生态系统对一种新的解决方案的需求
  • Hadoop的行业应用案例分析
  • Hadoop在云计算和大数据的位置和关系
Hadoop集群规划
  • Hadoop 集群内存要求
    • Namenode的机器配置
    • Datanode的机器配置
    • SNN的机器配置
  • Hadoop集群磁盘分区
  • 集群和网络拓扑要求
  • 集群软件的端口配置
Hadoop简介和生态系统介绍
  • 传统大规模数据分析存在的问题
  • Hadoop概述
  • Hadoop与分布式文件系统
  • Hadoop生态系统
  • Hadoop的行业应用案例分析
  • Hadoop在云计算和大数据的位置和关系
  • Hadoop版本介绍
  • Hadoop与Google FS的关系
  • Hadoop在国内的使用情况和未来
Hadoop安装和主要配置文件介绍
  • Hadoop安装所需软件介绍
  • Hadoop单机安装
  • Hadoop伪分布式安装
  • Hadoop完全分布式安装
  • Hadoop三个节点安装的配置介绍
  • Hahoop多节点ssh配置
  • Hadoop格式化详解
  • Hadoop核心配置文件介绍
  • 核心配置文件core-site.xml
  • HDFS配置文件hdfs-site.xml
  • Mapreduce配置文件mapred-site.xml
  • master文件配置详解
  • slave文件配置详解
  • Hadoop启动和停止方法一
    • —start-all.sh详解
    • —stop-all.sh详解
  • Hadoop的启动和停止方法二
    • —hadoop-deamon.sh详解
  • Hadoop安装的常见错误介绍和解决方案
  • 使用自带的wordcount和pi测试集群安装是否成功
  • 使用Streaming来测试集群安装是否成功
Hadoop组件介绍
  • Hadoop NameNode 介绍
  • Hadoop SecondaryNameNode 介绍
  • Hadoop DataNode 介绍
  • Hadoop JobTracker 介绍
  • Hadoop TaskTracker 介绍
Hadoop的HDFS模块
  • HDFS架构介绍
  • HDFS原理介绍
  • NameNode功能详解
  • DataNode功能详解
  • SecondaryNameNode功能详解
  • HSFD的fsimage和editslog详解
  • HDFS的block详解
  • HDFS的block的备份策略
  • Hadoop的机架感知配置
  • HDFS的shell命令介绍
  • HDFS的thrift server服务介绍
  • HDFS的API接口介绍
  • HDFS的权限详解
  • Hadoop的客服端接入案例
MapReducer入门和高级开发实战
  • Mapreduce原理
  • MapReduce流程
  • 剖析一个MapReduce程序
  • Mapper和Reducer抽象类详解
  • Mapreduce的最小驱动类
  • MapReduce自带的类型
  • 自定义Writables和WritableComparables
  • Mapreduce的输入InputFormats
  • MapReduce的输出OutputFormats
  • 自定义InputFormat
  • 自定义InputSPlits
  • 自定义RecorderReader
  • Combiner详解
  • Partitioner详解
  • DistributeFileSystem详解
  • Hadoop Tools工具介绍
  • Counter计数器详解
  • 自定义Counter计数器
  • 基于Hadoop二次开发实战
  • MapReduce的优化
  • Map和Reduce的个数设置
  • Hadoop小文件优化
  • 任务调度
  • 默认的任务调度
  • 公平任务调度
  • 能力任务调度
  • 使用 Hadoop MapReduce Streaming 编程
  • MapReduce的单元测试
Hive的使用和实战
  • Hive和Pig基础
  • Hive、Impala和presto的比较
  • Hive的作用和原理说明
  • Hadoop仓库和传统数据仓库的协作关系
  • Hadoop/Hive仓库数据数据流
  • Hive 部署和安装
  • Hive Cli 的基本用法
  • Hive的server启动
  • HQL基本语法
  • Hive的加载数据本地加载和HDFS加载
  • Hive的partition详解
  • Hive的存储方式详解
  • RCFILE、TEXTFILE和SEQUEUEFILE
  • Hive的UDF和UDAF
  • Hive的transform详解
  • Hive的JDBC连接
Hbase使用
  • Hbase原理
  • Hmaster详解
  • RegionServer详解
  • Zookeeper介绍
  • Hbase安装
  • Hbase逻辑视图介绍
  • Hbase物理视图介绍
  • Hbase的二级索引介绍
  • Hbase 的DDL和DML
  • Hbase表的设计案例
  • Hbase的import功能介绍
  • MapReduce操作Hbase
  • Hbase的 thrift Server介绍
  • Hbase 的API介绍
  • Hbase案例分析
Hadoop集群配置介绍和维护
  • Hadoop集群的部署要点
  • NameNode和SecondaryNameNode和JobTracker机器的配置要求
  • dataNode与tasktracker机器的配置要求
  • Hadoop集群管理的工具介绍
  • Ganglia和nigos监控Hadoop集群介绍
  • Ambri介绍
  • 添加和删除节点演示
  • Namenode的单点解决方案
  • NameNode的NFS备份介绍
  • 集群所有dataNode挂掉的故障介绍
  • 集群NameNode的fsimage丢掉恢复方法
  • Hadoop集群维护的注意点
数据抽取工具Sqoop使用
  • Sqoop是什么
  • Sqoop安装
  • Sqoop把mysql数据导入HDFS
  • Sqoop把HDFS数据导入Mysql
  • Sqoop吧Mysql数据导入Hive
  • Sqoop吧Mysql数据导入Hive分区
  • 执行脚本的解析
  • 数据导入过程中的典型问题和解决办法

4065 次浏览   488 次
其他人还看了课程
SQL Server数据库开发专家  1812 次浏览
Hadoop与NoSQL最佳实践  2191 次浏览
数据挖掘应用(电信行业)  2668 次浏览
数据仓库多维建模方法与应用  2313 次浏览
大数据分析与管理  3768 次浏览
复杂数据库分析、设计与建模  2711 次浏览
定制内训




最新活动计划
C#高级开发技术 11-8[北京]
企业数字化转型(数据治理) 11-15[上海]
嵌入式linux内核、开发、性能优化 11-16[北京]
大数据平台搭建与高性能计算 11-18[北京]
代码整洁之道 11-24[北京]
持续集成测试最佳实践 12-9[北京]