          Spark編程基礎(chǔ)培訓(xùn)

第1章 大數(shù)據(jù)技術(shù)概述

1.1 大數(shù)據(jù)時(shí)代

1.2 大數(shù)據(jù)概念

1.3 大數(shù)據(jù)的影響

1.4 大數(shù)據(jù)關(guān)鍵技術(shù)

1.5 大數(shù)據(jù)計(jì)算模式

1.6 代表性大數(shù)據(jù)技術(shù)

第1章大數(shù)據(jù)技術(shù)概述單元測(cè)驗(yàn)

第2章 Scala語(yǔ)言基礎(chǔ)

2.1 Scala語(yǔ)言概述

2.2 Scala基礎(chǔ)知識(shí)

2.3 面向?qū)ο缶幊袒A(chǔ)

2.4 函數(shù)式編程基礎(chǔ)

第2章Scala語(yǔ)言基礎(chǔ)單元測(cè)驗(yàn)

第3章 Spark的設(shè)計(jì)與運(yùn)行原理

3.1 Spark概述

3.2 Spark生態(tài)系統(tǒng)

3.3 Spark運(yùn)行架構(gòu)

3.4 Spark的部署和應(yīng)用方式

第3章 Spark的設(shè)計(jì)與運(yùn)行原理單元測(cè)驗(yàn)

第4章 Spark環(huán)境搭建和使用方法

4.1 安裝Spark

4.2 在spark-shell中運(yùn)行代碼

4.3 開(kāi)發(fā)Spark獨(dú)立應(yīng)用程序

4.4 Spark集群環(huán)境搭建

4.5 在集群上運(yùn)行Spark應(yīng)用程序

第4章Spark環(huán)境搭建和使用方法單元測(cè)驗(yàn)

第5章 RDD編程

5.1 RDD編程基礎(chǔ)

5.2鍵值對(duì)RDD

5.3 數(shù)據(jù)讀寫

5.4 綜合案例

第5章 RDD編程單元測(cè)驗(yàn)

第6章 Spark SQL

6.1 Spark SQL簡(jiǎn)介

6.2 DataFrame

6.3 從RDD轉(zhuǎn)換得到DataFrame

6.4 使用Spark SQL讀寫數(shù)據(jù)庫(kù)

第6章 Spark SQL單元測(cè)驗(yàn)

第7章 Spark Streaming

7.1 流計(jì)算概述

7.2 Spark Streaming

7.3 DStream操作概述

7.4 基本輸入源

7.5 高級(jí)數(shù)據(jù)源

7.6 轉(zhuǎn)換操作

7.7 輸出操作

7.8 Structured Streaming

第7章 Spark Streaming單元測(cè)驗(yàn)

第8章 Spark MLlib

8.1 Spark MLlib簡(jiǎn)介

8.2 機(jī)器學(xué)習(xí)流水線

8.3 特征抽取、轉(zhuǎn)化和選擇

8.4 分類與回歸

第8章 Spark MLlib單元測(cè)驗(yàn)