114培训网欢迎您来到深圳IT认证机构!

13027961181

全国统一学习专线 9:00-21:00

深圳大数据Spark实战培训班

授课机构:深圳IT认证机构

关注度:248

课程价格: 请咨询客服

上课地址:请咨询客服

开课时间:滚动开班

咨询热线:13027961181

在线报名

课程详情在线报名

更新时间:2024-03-24 23:54

课程亮点

师资:专职讲师团队,丰富行业经验和企业培训经验

特色:小班培训,精品课程,面授+直播+录播,上课方式多样

培训:免费重听


适用对象

不限


学习目标

了解大数据业内*新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统


课程内容


大数据背景与思维


1. 什么是大数据


2. 大数据技术的产生背景


3. 大数据应用场景


4. 大数据思维


5. 大数据产业链


6. 大数据是如何变革各行业的技术架构、商业模式和组织方式


7. 大数据必备的技术基础


*天


互联网电信大数据应用案例深度解析


大数据在通信及互联网行业的应用案例解析-以下几个案例将贯穿整个培训内容, 作为每个章节的案例分析细化到每个大数据的知识点


互联网企业遇到大数据的问题


案例分享:海量数据通信行业解决方案


案例分享:基于通信网元实时数据的海量数据解决方案


案例分享:*电信用户画像分析系统的大数据变现案例分析


案例分享:淘宝大数据分析案例分析


*天


海量数据处理系统


的架构设计


这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。


海量数据处理的系统场景


大数据时代的数据架构解决方案


海量数据处理的架构汇总


8种海量数据处理的架构设计比较


分布式系统架构的海量数据处理设计


海量数据处理设计


典型案例分析:结合一个500强实时数据系统的实例案例进行分析,详细分析海量数据处理的架构设计


第二天


案例及动手实验


HDFS实战-Java API使用


PB 级大数据存储系统的项目案例分析


HDFS部署、配置与性能调优实战


典型案例分析:通过HDFS API完成一个复杂数据系统的操作过程


Hadoop MapReduce深入解析


使用 Hadoop MapReduce Streaming 编程


MapReduce流程


基本MapReduceAPI 概念


MapReduce的优化


MapReduce的任务调度


MapReduce编程实战


满足解决实际数据分析问题的高级Hadoop API


第三天


Hive架构及实践案例沙盘演练


Hive系统部署与搭建


Hive工作机制


基于Hive的大数据加载过程


Hive程序编写性能建议


MapJoin


数据倾斜


Join顺序


UDF编写注意事项


快速获取结果TopN


通过Explain观察Hive行为


动手实验:完成Hive的搭建与配置


典型案例分析:基于Hive的大型电信通话记录分析示例,详细分析Hive的架构应用、性能调优及其使用场景与整体系统架构的结合


第四天


Spark架构及实践


案例沙盘演练


1.2 Spark的重要扩展


1.2.1 Spark SQL和Dataframe


1.2.2 Spark Streaming


1.2.3 Spark MLlib和ML


1.2.4 GraphX


1.2.5 SparkR


2.3 运行Spark应用程序


2.3.1 Local模式运行Spark应用程序


2.3.2 Standalone模式运行Spark应用程序


2.3.3 YARN模式运行Spark


2.3.4 应用程序提交和参数传递


3 Spark程序开发


3.1 使用Spark Shell编写程序


3.1.1 启动Spark Shell


3.1.2 加载text文件


3.1.3 简单RDD操作


3.1.4 简单RDD操作应用


3.1.5 RDD缓存


3.2 构建Spark的开发环境


3.2.1 准备环境


3.2.2 构建Spark的Eclipse开发环境


3.2.3 构建Spark的IntelliJ IDEA开发环境


3.3 独立应用程序编程


3.3.1 创建SparkContext对象


3.3.2 编写简单应用程序


3.3.3 编译并提交应用程序


第五天


Spark Streaming应用开发


Spark Streaming Java实例开发、运行


Spark Streaming Java实例的运行过程分析


Spark Streaming内部数据传输过程分析


Spark Streaming应用开发总结(API回顾,典型应用模式总结)


Spark Streaming消息可靠性保证机制介绍


Spark Streaming实时大数据算法解析案例


Spark Streaming实时大数据报警案例


Spark Streaming实时大数据的调整与改进


姓名不能为空
手机号格式错误