        大數(shù)據(jù)處理技術(shù)-基于Hadoop/Yarn的大數(shù)據(jù)技術(shù)培訓(xùn)

第一講云計算及大數(shù)據(jù)處理技術(shù)介紹

1）云計算的概念

2）云計算發(fā)展現(xiàn)狀

3）大數(shù)據(jù)的概念

4）大數(shù)據(jù)的應(yīng)用

5）大數(shù)據(jù)關(guān)鍵技術(shù)

第二講Google的關(guān)鍵技術(shù)

1）GFS分布式文件系統(tǒng)

2）Chubby并發(fā)鎖機制

3）MapReduce計算模型

4）Bigtable大表管理技術(shù)

第三講Hadoop系統(tǒng)及HDFS

1） Hadoop及其運行架構(gòu)

2） Yarn中的隔離和調(diào)度機制

3） HDFS分布式文件及塊

4） Seqenence file等DFS文件格式

5） HA和Federation

第四講MapReduce計算模型設(shè)計

1) MapReduce產(chǎn)生背景

2) MapReduce編程模型

3) MapReduce實現(xiàn)機制

4) MapReduce案例分析

第五講Pig 數(shù)據(jù)流處理工具

1）Pig 設(shè)計的

2）Pig Latine介紹

3）Pig關(guān)鍵性技術(shù)

4）Pig的實用案例

第六講 云數(shù)據(jù)倉庫Hive

1) Hive設(shè)計

2) Hive數(shù)據(jù)模型

3) Hive關(guān)鍵性技術(shù)

4) Hive的使用案例

第七講HBase和NoSQL

1）NoSQL技術(shù)及其應(yīng)用介紹

2）HBase數(shù)據(jù)處理機制

3）HBase列族設(shè)計及API

4）HBase高并發(fā)讀/寫的實現(xiàn)

5）ZooKeeper并發(fā)控制模型

第八講 數(shù)據(jù)抽取工具Sqoop

1）云中數(shù)據(jù)與DBMS數(shù)據(jù)的交換

2）Sqoop數(shù)據(jù)抽取關(guān)鍵技術(shù)

3）Sqoop數(shù)據(jù)抽取策略

4）Sqoop的使用實例

第九講 Hadoop與其他云數(shù)據(jù)處理技術(shù)的融合

1）其他云環(huán)境中大數(shù)據(jù)處理技術(shù)介紹

2）與Spark實時處理技術(shù)的融合

3）與Storm流數(shù)據(jù)處理技術(shù)的融合

4）與Docker等其它云工具的融合

5）基于Hadoop/Yarn的大數(shù)據(jù)挖掘應(yīng)用

六、培訓(xùn)

1，了解基于Hadoop/Yarn的大數(shù)據(jù)處理相關(guān)知識。

2，學(xué)習(xí)Hadoop/Yarn的核心技術(shù)方法以及應(yīng)用特征。

3，深入學(xué)習(xí)Hadoop/Yarn相關(guān)工具在大數(shù)據(jù)中的實操使用。

4，了解Hadoop與Storm、Spark、Docker等技術(shù)的融合使用。