高清无码视频直接看,日本无码色情三级播放,大桥未久亚洲无av码在线,免费人成视频在线播放,国产亚洲精品久久久久久大师

    大(da)數據實時處理-基(ji)于Spark的(de)大(da)數據實時處理及應用培訓

第(di)一講Spark大數據實時處理技術(shu)

1）大數據處理技術

2）Spark實時處理(li)技術

3）Spark生(sheng)態系統(tong)BDAS

4）Spark架構(gou)分析

第(di)二講 Spark安裝配置及監控(kong)

1）Ubuntu環境(jing)的準(zhun)備

2）Hadoop2.X和(he)Scala

3）搭建Spark開發環境

4）Idea編譯和運行(xing)

5）Spark監(jian)控管(guan)理(li)

第三講 Scala編程(cheng)語(yu)言使用概述

1) Scala編(bian)程語言

2) 基本數據類型

3) 操作(zuo)基(ji)本數據類型(xing)

4) 類和對象

5) 組合和繼承

第四講(jiang) Spark分布式計算框架

1）Spark計(ji)算模型

2）彈性分布式數據集RDD

3）Spark的數據存儲

4）Transformation算子分類及(ji)功(gong)能(neng)

5）Actions算子(zi)分類及功(gong)能

第五講 Spark內部工作(zuo)機制(zhi)詳解

1) Spark底層實現(xian)原(yuan)理

2) Spark應用(yong)執行機制

3) Spark調度與任務分配模塊

4) FIFO和FAIR調度(du)算法

第六講 Spark數據讀取與(yu)存(cun)儲(chu)

1）Spark的(de)I/O機制

2）Spark中的數據壓縮

3）Spark的數(shu)據讀取與存(cun)儲

4）Spark數據讀寫流程

第七(qi)講(jiang) Spark通(tong)信模塊和(he)容錯機(ji)制

1）Spark通(tong)信模塊(kuai)

2）通(tong)信框架AKKA

3）容錯機制和Lineage依賴

4）檢查(cha)點機制(zhi)進(jin)行容錯(cuo)

5）Shuffle過程(cheng)

第八講SQL On Spark

1) BDAS數據分析(xi)軟件棧(zhan)

2) SQL On Spark

3) Spark SQL工具使用

4) Shark工具使用(yong)

5) Hive on Spark工具

6) Spark操作HBase中(zhong)的數據

第九講 Spark流(liu)數據(ju)處理工具Streaming

1）流(liu)數據處理工具(ju)Streaming

2） Spark Streaming架構

3） Spark Streaming原理

4） Spark Streaming實(shi)例

第(di)十講(jiang)Spark中的大數據挖掘工具MLlib

1）大(da)數據(ju)挖掘工具(ju)MLlib

2）MLlib的數據存(cun)儲

3）MLlib中的(de)聚(ju)類和分(fen)類

4）MLlib算法應用實例(li)

5）利用MLlib進行

第十一(yi)講 Spark大規模(mo)圖處理工(gong)具GraphX

1）大規模圖(tu)處(chu)理工具GraphX

2）GraphX的運行(xing)架(jia)構

3）GraphX操作使用

4）GraphX使用(yong)實例

第十二講(jiang) Spark與(yu)其他大數據技(ji)術的融合與(yu)應用

1）與Hadoop/Yarn集群(qun)應(ying)用的協(xie)作

2）與Docker等其它云工具配合

3）Spark在(zai)Yahoo!的應用

4）Spark在電商中的應用

六、培訓

1，了解大數據(ju)實(shi)時處理(li)技術的相關知識。

2，學(xue)習Spark的核心技術方法以及(ji)應用特征。

3，深(shen)入使用Spark在(zai)大數據實時處理(li)中的使用。

4，掌握BDAS相關工具及其主要功能。