課程大綱：

Spark 大數(shù)據(jù)培訓(xùn)

1 Spark 的安裝與配置

2 Spark SQL 基礎(chǔ)知識(shí)及使用案例

3 Spark 機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)及使用案例

4 Spark Streaming 基礎(chǔ)知識(shí)及使用案例

5 Spark GraphX 基礎(chǔ)知識(shí)及使用案例

Spark 簡(jiǎn)介與安裝部署

1.Spark核心概念

2.Spark生態(tài)系統(tǒng)BDAS

3.Spark單機(jī)模式部署

4.Spark集群模式部署

5.SparkShell的基本使用

6.啟動(dòng)Spark服務(wù)

2
Scala 編程快速教程

1.Scala基礎(chǔ)概念

2.Scala交互式命令行

3.Scala基礎(chǔ)語(yǔ)法：值、標(biāo)識(shí)符、運(yùn)算符、注釋等

4.Scala數(shù)據(jù)類型，變量

5.Scala函數(shù)與類

6.Scala的集合

3
Spark RDD 簡(jiǎn)介與操作

1.RDD簡(jiǎn)介

2.連接并初始化Spark

3.SparkRDD數(shù)據(jù)源

4.RDD的轉(zhuǎn)化操作

5.RDD的行動(dòng)操作

4
Spark RDD 高級(jí)應(yīng)用與持久化

1.向Spark傳遞函數(shù)

2.理解閉包

3.共享變量

4.鍵值對(duì)RDD

5.不同類型RDD之間的轉(zhuǎn)換

6.RDD緩存、持久化

5
Spark 應(yīng)用開(kāi)發(fā)入門

1.Spark編程模型

2.詞頻統(tǒng)計(jì)算法

3.Scala語(yǔ)言開(kāi)發(fā)Spark應(yīng)用

4.編譯打包提交到集群執(zhí)行

6
Spark 分析 Apache 日志

1.Apache日志文件格式

2.Scala語(yǔ)言開(kāi)發(fā)Spark應(yīng)用

3.Spark日志分析的基本方法

7
Spark Streaming 入門實(shí)戰(zhàn)

1.SparkStreaming簡(jiǎn)介

2.StreamingContext的初始化

3.輸入源

4.轉(zhuǎn)化操作

5.輸出操作

6.項(xiàng)目實(shí)例

8
Spark SQL 入門實(shí)戰(zhàn)

1.SparkSQL簡(jiǎn)介

2.SparkSQL編程實(shí)例

3.支持多種數(shù)據(jù)源

4.將RDDs轉(zhuǎn)化為DataFrame

9
Spark GraphX 入門實(shí)戰(zhàn)

1.GraphX簡(jiǎn)介

2.屬性圖

3.一個(gè)屬性圖的例子

4.項(xiàng)目實(shí)例

5.其它擴(kuò)展

10
Spark 機(jī)器學(xué)習(xí)入門實(shí)戰(zhàn)

1.MLlib簡(jiǎn)介

2.使用sparkmllib的項(xiàng)目實(shí)例

3.使用sparkml的項(xiàng)目實(shí)例