?Spark培訓
培訓目標：
1.?全面了解大數(shu)據實(shi)時處理技術的相關知識。
2.?學(xue)習Spark的核心技術方法以及(ji)應(ying)用特征。
3.?深入使用Spark在大數據(ju)實時處理中的使用。
4.?掌握BDAS相關工(gong)具(ju)及(ji)其(qi)主要功能。
培訓大綱：
第一部分：
第一講?Spark大(da)數據(ju)實時處理技術(shu)
??1）大數據處理(li)技術的背景
??2）Spark實(shi)時處理(li)技術及案例介(jie)紹
??3）Spark架(jia)構(gou)實例分析
??4）Spark應用場景分析
??5）Spark與Hadoop、Storm的關系及選項
第二(er)講(jiang)?Spark安裝(zhuang)配置(zhi)及監控(kong)
??1）Centos環(huan)境的準(zhun)備
??2）Hadoop2.X和Scala
??3）搭(da)建Spark開發環境
??4）Spark監(jian)控管理
第三講?Scala編程語言使用概述
??1)?Scala編(bian)程語言
??2)?基本(ben)數據(ju)類型(xing)
??3)?操作(zuo)基本(ben)數據類型
??4)?類和對象(xiang)
??5)?組合和(he)繼承
第四講?Spark分(fen)(fen)布式計(ji)算框架及案例分(fen)(fen)析
??1）Spark計算模(mo)型(xing)及案例分析
??2）彈性分布式數據集RDD及使用場(chang)景
??3）Spark的數據存(cun)儲
??4）Transformation算(suan)子分類及功能
??5）Actions算子分類(lei)及功能
第(di)五講?Spark內部工作機制詳(xiang)解
??1)??Spark底層實現(xian)原理
??2)??Spark應用(yong)執行機制
??3)??Spark調度與任務分配模塊
??4)??FIFO和(he)FAIR調(diao)度算(suan)法
第(di)六(liu)講?Spark數(shu)據讀取與存儲
???1）Spark的I/O機制
???2）Spark中的數據壓(ya)縮
???3）Spark的數據讀取與存儲
???4）Spark數(shu)據讀寫流程
第二部分：
第七(qi)講?Spark通信(xin)模塊(kuai)和容錯機制
???1）Spark通信模塊
???2）通信框架AKKA
???3）容錯機制和Lineage依賴
???4）檢(jian)查點機制進(jin)行容(rong)錯
???5）Shuffle過程
第八講?SQL?On?Spark
???1)?關(guan)系數(shu)據庫與(yu)NoSql數(shu)據庫的選型對比(bi)
??2）SQL?On?Spark的適(shi)用(yong)場(chang)景
??3)?BDAS數(shu)據分析軟件棧(zhan)
???4)?SQL?On?Spark
???5)?Spark?SQL工具使用
???6)?Shark工具使用
??7)?Hive?on?Spark工(gong)具
??8)?Spark操作HBase中的(de)數(shu)據
第九講?Spark流數據處(chu)理工(gong)具Streaming
???1）?流數據(ju)處(chu)理工具(ju)Streaming的適用場景
???2）?Spark?Streaming架構(gou)
???3）?Spark?Streaming原理
???4）?Spark?Streaming實例
第十講?Spark中的(de)大數據挖掘工具MLlib
???1）大數據挖掘(jue)工具MLlib及(ji)適(shi)用場景
???2）MLlib的(de)數據存儲(chu)
???3）MLlib中的(de)聚類(lei)和分類(lei)
???4）MLlib算(suan)法應用實例(li)
???5）利用MLlib進行推薦
第十一講?Spark大規模圖處理工具(ju)GraphX
???1）大規(gui)模圖處理工具(ju)GraphX
???2）GraphX的運行架(jia)構
???3）GraphX操作使用
???4）GraphX使用實例(li)
第(di)十二講?Spark在業(ye)界的應用案例
???1）Spark在Amazon的應用
???2）Spark在Yahoo!的應用
???3）Spark在Telefonica的應(ying)用
???4）Spark在淘寶的應用
合作伙伴與授權機構
