課程大綱：

Hadoop 核心組件基礎培訓

1 Hadoop 基礎概念

2 Hadoop 偽分布式模式部署

3 HDFS 的初始化方法

4 HDFS 基本操作

5 MapReduce 應用的編寫和編譯方法

6 YARN 配置文件的作用

7 HBase 的數據模型和基本操作

8 Sqoop 的數據傳輸方法

9 向 Solr 添加數據的方法

10 Hive 架構及部署

11 Flume 的架構和數據流模型

12 Flume Agent 配置方法

13 Kafka 的架構及部署

14 Flume 與 Kafka 的連接方法

15 Pig 使用方法

16 HDFS 的基本使用

17 Hadoop 各配置項的作用

18 HDFS 架構

19 MapReduce 核心思想及架構

20 YARN 核心思想及架構

21 YARN 應用開發方式

22 Sqoop 的體系結構

23 Solr 特性及部署

24 Solr 檢索數據的方式

25 Hive HQL 語言

26 多數據源下配置和啟動 Agent 的方法

27 Hive 導入外部數據的方法

28 Kafka Connect 的用法

29 Pig 架構及部署

1
Hadoop 簡介與安裝部署

1.Hadoop的體系結構

2.Hadoop的主要模塊

3.Hadoop偽分布式模式部署

4.HDFS的基本使用

5.WordCount測試用例

1
Hadoop 系統部署

1.Hadoop各個配置項的作用

2.啟動Hadoop守護進程的方法

3.HDFS的初始化方法

2
HDFS 架構與操作

1.HDFS架構

2.HDFS基本操作

3.Web管理界面 4.WebHDFSAPI的使用

3
MapReduce 原理與實踐

1.MapReduce核心思想

2.MapReduce編程框架的結構

3.MapReduce應用的編寫和編譯方法

2
使用 MapReduce 進行日志分析

1.Hadoop服務的啟動

2.MapReduce應用的編寫

3.生成Jar包的方法

4.HDFS的基本操作

4
YARN 架構

1.YARN核心思想及架構

2.YARN配置文件的作用

3.YARN應用開發方式

4.YARNWebUI的使用

3
用 Hadoop 計算圓周率

1.HadoopMapReduce任務執行

2.Hadoop示例程序的使用

3.Bash輸出重定向

5
HBase 基礎

1.關系型數據庫與非關系型數據庫的聯系和區別

2.HBase的安裝部署方法

3.HBase的數據模型和基本操作

4
HBase 數據導入

1.HBase創建表的方法

2.HBase導入外部數據的方法

3.HDFS的基本操作

6
Sqoop 數據遷移

1.待遷移數據源的配置

2.Sqoop的體系結構

3.Sqoop的數據傳輸方法

5
HBase 實現 Web 日志場景數據處理

1.HBase過濾器的用法

2.HBase導入數據的方式

3.HBase表操作

4.Bash輸出重定向

7
Solr 基礎實戰

1.Solr的特性

2.Solr的部署方法

3.向Solr添加數據的方法

4.Solr檢索數據的方式

8
Hive 基礎實戰

1.Hive的架構

2.Hive的基本數據單位

3.部署Hive的方法

4.HiveHQL語言

6
導入數據到 Hive

1.在Hive中創建表的方法

2.導入CSV數據到Hive表的方法

3.在Hive中執行SQL查詢的方法

4.Bash輸出重定向

9
Flume 基礎實戰

1.Flume的架構和數據流模型

2.Flume的安裝部署方法

3.多數據源下配置和啟動Agent的方法

10
Flume、HDFS和Hive實現日志收集和分析

1.FlumeAgent配置方法

2.Hive啟動方法

3.Hive中創建表的方式

4.Hive導入外部數據的方法

5.在Hive命令行運行HQL查詢

7
用Flume和MapReduce進行日志分析

1.FlumeAgent配置

2.MapReduce框架的編寫

3.MapReduce任務的執行

11
Kafka 基礎實戰

1.Kafka的應用場景

2.Kafka的架構

3.Kafka與Flume的區別

4.Kafka的安裝部署方法

5.Kafka的故障恢復能力

6.KafkaConnect的用法

8
按需部署 Kafka

1.KafkaZooKeeper的配置

2.KafkaServer的用法

3.Kafka創建主題的方法

4.KafkaConnect的配置和使用

12
使用 Flume 和 Kafka 實現實時日志收集

1.模擬日志的生成方法

2.FlumeAgent的配置方法

3.Kafka的配置方法

4.Flume與Kafka的連接方法

13
Pig 基礎實戰

1.Pig的特性

2.Pig的架構

3.Pig的安裝部署方法

4.Pig的啟動模式

5.PigLatin