求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
 
Spark实践培训    1134 次浏览    230 次 
 
时间地点:北京、上海、深圳 根据报名开班
课程费用5000元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册
 

Spark是继hadoop以来的有一个大数据分析神器,它具备了hadoop的所有功能,同时具有hadoop实现不了的功能。同样的数据在Spark上面执行需要的时间是hadoop的十分之一到一百分之一。备受行业的亲睐,也是今后大数据实时分析的主流工具。本课程将结合实例深入讲解Spark的原理及应用。

 
课程目标:

通过本课程学习与实践,您将了解与掌握:
1)知道Spark能做什么,不能做什么。
2)hadoop和Spark的适用场景。
3)能过熟知Spark的原理、安装Spark集群。
4)能够独立使用Spark工具来分析海量数据。
5)会使用shark来分析数据。
6)会使用Spark Streaming来处理数据。
7)一个需求过来知道在Spark上面怎么实现。

培训对象:1)大数据工程师
2)对海量数据实时分析赶兴趣的人群。
3)对hadoop感兴趣的人群
4)想从事Spark工作的人员
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容
第一天上午
  • Scala语言介绍
  • Scala语言安装
  • Scala快速入门介绍
  • 什么Spark
  • Spark的简介
  • Spark的编译
  • Spark的安装
  • Spark安装成功测试
  • 第一天下午
  • Spark原理
  • Spark的RDD
  • 什么是RDD
  • RDD的种类
    • Tranformation
    • Action
  • Spark的存储级别
  • Cache介绍
  • Spark的容错原理
  • Lineage容错
  • Checkpoint容错
  • RDD的创建
  • 案例
    • 统计单词的个数
  • 第二天上午
  • Spark调度组件
  • RDD graph
  • 作业与任务调度
  • DAG Scheduler
  • Task Scheduler
  • Task细节
  • Job的调度流程
  • Broadcast variables介绍
  • Spark的优化
  • Spark的生态系统
    • Shark
    • Streaming
  • Spark与hadoop的比较
  • Spark的使用场景介绍
  • 第二天下午
  • Spark实战一:求最大值
  • Spark实战二:自定义RDD(define a new RDD)
  • Spark实战三:RDD创建的种类(Scala、HDFS、localdisk and inputformat)
  • Spark实战四:基于Spark的日志分析
  • 1134 次浏览   230 次
    其他人还看了课程
    Spark实践培训  1135 次浏览
    数据统计分析方法与工具、实践  1343 次浏览
    大数据分析-SparkR  1321 次浏览
    大数据落地技术系列课程  1501 次浏览
    大数据分析专题-R语言培训  2427 次浏览
    CDH Cloudera Manager管理实战与案例解析  2926 次浏览
    定制内训



    最新活动计划
    用户体验、可用性测试与评估 9-17 [北京]
    测试需求分析与测试用例设计 9-19 [北京]
    DoDAF理论与实践理 9-24 [北京]
    需求分析管理 9-26 [北京]
    敏捷测试-简单而可行 10-18[北京]
    云平台与微服务架构设计 10-23 [北京]
    基于Flink搭建流计算平台 9-20 [上海]
    企业级全栈自动化测试技术 10-16 [上海]
    人工智能,机器学习和深度学习 10-16[深圳]
     讲座 数据治理
     讲师:王辉
     时间:2019-10-19
     
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
     

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号