 班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽分部】：沈陽理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
第一部分除了Hadoop框架以外，大數(shù)據(jù)界的現(xiàn)狀與展望，機(jī)遇與挑戰(zhàn)，開源項(xiàng)目的注意事項(xiàng)（尤其對(duì)大型企業(yè)）也會(huì)在課程中介紹和研討，內(nèi)容以思路，框架和架構(gòu)為主
第二部分邊學(xué)變練，內(nèi)容以應(yīng)用編程為主，掌握基本的Hadoop編程原理
第三部分邊學(xué)邊練，了解MapReduce之上的封裝Pig以及Hive，以及數(shù)據(jù)跨平臺(tái)傳輸工具Sqoop，研討關(guān)系型數(shù)據(jù)庫(kù)與大數(shù)據(jù)框架的主要應(yīng)用差異
第四部分邊學(xué)邊練，了解NOSQL計(jì)算框架HBase，流計(jì)算框架Storm，了解高可用配置管理工具ZooKeeper
課程大綱：
第1部分
大數(shù)據(jù)基礎(chǔ)與Hadoop框架 數(shù)據(jù)分析概述
數(shù)據(jù)的演變
傳統(tǒng)數(shù)據(jù)庫(kù)面臨的挑戰(zhàn)
大數(shù)據(jù)處理的機(jī)遇
業(yè)務(wù)分析經(jīng)典案例：啤酒與尿布
IT分析經(jīng)典場(chǎng)景：數(shù)據(jù)中心容量規(guī)劃
IBM Watson——基于大數(shù)據(jù)的認(rèn)知計(jì)算
大數(shù)據(jù)的人才需求:大數(shù)據(jù)方案 ≠ Hadoop
大數(shù)據(jù)的人才需求:大數(shù)據(jù)總體架構(gòu)?
大數(shù)據(jù)的人才培養(yǎng)：從云計(jì)算起源說起?
大數(shù)據(jù)的人才培養(yǎng)：理論結(jié)合實(shí)踐?
Hadoop概述
數(shù)據(jù)存儲(chǔ)與分析
數(shù)據(jù)的并行訪問
Hadoop的核心組件
Hadoop的基本特征
Hadoop的生態(tài)圈
Hadoop與大數(shù)據(jù)
Hadoop與關(guān)系型數(shù)據(jù)庫(kù)
Hadoop發(fā)展簡(jiǎn)史
開源項(xiàng)目注意事項(xiàng)
組織結(jié)構(gòu)
技術(shù)路線把控
協(xié)議與授權(quán)
構(gòu)建Hadoop集群
集群安裝與配置
SSH的配置
Hadoop的配置
安全相關(guān)的考慮
集群性能指標(biāo)
云上的Hadoop
第2部分
MapReduce與HDFS MapReduce
什么是MapReduce
使用MapReduce進(jìn)行數(shù)據(jù)分析
MapReduce橫向擴(kuò)展
MapReduce數(shù)據(jù)流
Combine函數(shù)
MapReduce 2.0
非Java語言支持
實(shí)踐：基于Eclipse的Hadoop開發(fā)環(huán)境搭建
實(shí)踐：使用MapReduce編寫北京市小汽車搖號(hào)中簽姓名統(tǒng)計(jì)程序
實(shí)踐：編寫MapReduce程序的單元測(cè)試程序
實(shí)踐：編寫MapReduce程序的驅(qū)動(dòng)程序
實(shí)踐：在單機(jī)環(huán)境下運(yùn)行MapReduce程序
實(shí)踐：使用Ant腳本部署MapReduce程序并在分布式環(huán)境下運(yùn)行
實(shí)踐：使用Hadoop Web控制臺(tái)查看作業(yè)輸出
HDFS(2小時(shí)講授)
什么是HDFS
HDFS的優(yōu)勢(shì)與劣勢(shì)
HDFS的數(shù)據(jù)塊
Namenode與Datanode
Hadoop客戶端
Namenode的高可用
Hadoop支持的各種文件系統(tǒng)
Hadoop支持的各種接口
文件讀取的數(shù)據(jù)流
文件寫入的數(shù)據(jù)流
網(wǎng)絡(luò)拓?fù)渑chadoop
CAP定理在Hadoop中的展現(xiàn)：一致性模型與應(yīng)用注意事項(xiàng)
distcp并行復(fù)制
集群的均衡
文件的歸檔
實(shí)踐：編寫Hadoop程序打印系統(tǒng)配置
實(shí)踐：編寫Hadoop程序?qū)⒈镜匚募截惖紿DFS上
實(shí)踐：編寫Hadoop程序顯示文件內(nèi)容
實(shí)踐：編寫Hadoop程序列出文件狀態(tài)
第3部分
Pig，Hive，Sqoop Pig Latin及其使用
Pig 設(shè)計(jì)的目標(biāo)
Pig Latine介紹
Pig關(guān)鍵性技術(shù)
Pig的實(shí)用案例
HIVE：分布式環(huán)境下的數(shù)據(jù)分析平臺(tái)
MapReduce與關(guān)系型數(shù)據(jù)模型
什么是HIVE
HIVE系統(tǒng)架構(gòu)
HIVE數(shù)據(jù)模型
HIVE數(shù)據(jù)類型
HIVE查詢語言
HIVE查詢實(shí)例與應(yīng)用場(chǎng)景
HIVE列存儲(chǔ)的優(yōu)劣
HIVE的擴(kuò)展屬性
Sqoop
什么是Sqoop
導(dǎo)入數(shù)據(jù)的數(shù)據(jù)流
導(dǎo)入數(shù)據(jù)的查詢劃分
直接模式數(shù)據(jù)導(dǎo)入
使用導(dǎo)入的數(shù)據(jù)
導(dǎo)入數(shù)據(jù)到HIVE
大對(duì)象
導(dǎo)出數(shù)據(jù)的數(shù)據(jù)流
導(dǎo)出與事物
關(guān)系型數(shù)據(jù)庫(kù)與大數(shù)據(jù)系統(tǒng)進(jìn)行數(shù)據(jù)遷移的注意事項(xiàng)
??
第4部分
流數(shù)據(jù)處理，
高可用配置管理與跨平臺(tái)數(shù)據(jù)遷移工具 HBASE：非結(jié)構(gòu)化數(shù)據(jù)NOSQL平臺(tái)
Hbase概述
HBase的數(shù)據(jù)模型
HBase的實(shí)現(xiàn)
HBase的運(yùn)行時(shí)
服務(wù)器的寫操作與宕機(jī)恢復(fù)
服務(wù)器的讀操作
使用hbase shell進(jìn)行表相關(guān)操作
通過Java客戶端實(shí)現(xiàn)表相關(guān)操作
通過MapReduce程序?qū)崿F(xiàn)數(shù)據(jù)處理
將數(shù)據(jù)加載到HBase中
數(shù)據(jù)加載的性能
HBase與關(guān)系型數(shù)據(jù)庫(kù)
Hadoop用戶在HBase的常見問題
分布式流數(shù)據(jù)處理
Storm概述
Storm的拓?fù)浣M成
Storm的簡(jiǎn)單實(shí)例與應(yīng)用
Spark概述
Spark計(jì)算模型
Spark工作機(jī)制
Spark實(shí)例
ZooKeeper：分布式環(huán)境下的高可用架構(gòu)
什么是ZooKeeper
分布式環(huán)境的部分失效
ZooKeeper的特點(diǎn)
一個(gè)分布式的問題
ZooKeeper的組、成員與節(jié)點(diǎn)
實(shí)踐：編寫程序創(chuàng)建組、加入組、列出組成員與刪除組
分布式問題的回顧
ZooKeeper服務(wù)的數(shù)據(jù)模型
ZooKeeper服務(wù)的操作類型
ZooKeeper服務(wù)的高可用
ZooKeeper服務(wù)的一致性
實(shí)踐：編寫程序使用ZooKeeper構(gòu)建高可靠的分布式配置服務(wù)
使用ZooKeeper時(shí)的異常處理
使用ZooKeeper實(shí)現(xiàn)鎖服務(wù)
更多的分布式數(shù)據(jù)結(jié)構(gòu)和協(xié)議 |
|
|
|
首頁(yè) 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)
