      Hadoop基礎(chǔ)模塊—Linux基礎(chǔ)培訓

Linux

Linux簡介

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）掌握Linux的基礎(chǔ)知識，

（2）熟練掌握Linux常用Shell命令、文本編輯工具，

（3）熟練掌握Linux的安裝、部署、用戶和權(quán)限等知識，

（4）熟練掌握基本的性能調(diào)試、網(wǎng)絡相關(guān)的命令。

Linux

基礎(chǔ)知識

Linux 安裝部署

Hadoop常規(guī)模塊

Hadoop運維——Hadoop

Hadoop簡介

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）掌握Hadoop基本原理、架構(gòu)和核心組件

（2）熟練掌握Hadoop的分布式安裝、部署過程和基本的運維方法

Hadoop安裝部署

Hadoop運維

Hadoop核心組件——HDFS

HDFS簡介、HDFS分布式文件系統(tǒng)原理和體系結(jié)構(gòu)

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）深刻理解HDFS的工作原理和常用命令

HDFS的I/0基本操作 、HDFS常用Java API詳解

HDFS中的輸入輸出與讀寫數(shù)據(jù)流、WebHDFS詳解

HDFS中的常用的重要的文件存儲結(jié)構(gòu)

HDFS I/0操作和讀寫工作原理 、HDFS數(shù)據(jù)壓縮機制與程序?qū)崿F(xiàn)

HDFS集群資源管理技術(shù)精講

Hadoop核心組件——MapReduce

MapReduce基礎(chǔ)知識

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）深刻理解MapReduce計算模型的原理和架構(gòu)

（2）掌握MapReduce編程開發(fā)和技巧

MapReduce原理

MapReduce編程

YARN平臺

離線分析

Hive基礎(chǔ)知識

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）掌握數(shù)據(jù)倉庫和分析工具Hive的基本架構(gòu)和使用方法，能夠熟練的搭建數(shù)據(jù)倉庫并進行離線數(shù)據(jù)分析需求開發(fā)

（2）掌握從RDBMS到Hadoop的導入工具Sqoop的使用

（3）掌握如何使用Azkaban構(gòu)建自己的工作流

Hive使用

Sqoop/Azkaban詳解

實時計算

HBase詳解

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）理解海量數(shù)據(jù)實時處理的基本概念和開源產(chǎn)品、框架

（2）掌握列式數(shù)據(jù)庫HBase的概念、架構(gòu)、安裝部署和基本的API訪問編程

（3）掌握使用HBase進行表結(jié)構(gòu)設計的方法和技巧

（4）掌握實時流框架Storm的概念、架構(gòu)、安裝部署和編程

（5）掌握實時計算系統(tǒng)的基本設計理念和設計方法

（6）掌握日志收集系統(tǒng)Flume等的架構(gòu)、安裝部署

ZooKeeper詳解

Storm介紹

Storm安裝

Flume介紹與使用

實戰(zhàn)項目

案例實戰(zhàn)（離線、實時2個不同項目）

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）鞏固之前學習Hadoop知識

（2）實戰(zhàn)中提高實操技能以達到企業(yè)用人標準

（3）檢驗之前學習中的不足，并根據(jù)不足制定復習計劃

Hadoop模塊

數(shù)據(jù)可視化方向

大數(shù)據(jù)可視化技術(shù)

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）掌握前端可視化相關(guān)技術(shù)，如、R語言等技術(shù)的簡單實用

（2）掌握大數(shù)據(jù)中數(shù)據(jù)可視化的基本理念和實現(xiàn)方法

交互式計算Spark

Scala基礎(chǔ)編程

Spark簡介和安裝部署

Spark核心機制

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）掌握Scala編程技術(shù)的簡單使用

（2）掌握Spark框架的概念、架構(gòu)、核心機制和使用

數(shù)據(jù)挖掘方向

Mahout簡介

Mahout經(jīng)典算法講解

通過本模塊理論結(jié)合實踐的學習，讓學員對能夠：

（1）通過學習Mahout了解數(shù)據(jù)挖掘、機器學習的相關(guān)算法基于Hadoop的實現(xiàn)

（2）理解算法并行化實現(xiàn)（基于Hadoop）的流程和方法