分布式課程培訓(xùn)
?
分布式課程培訓(xùn)

本培訓(xùn)課程針對有一定編程基礎(chǔ)的學(xué)員：了解Linux，熟悉Java編程。
通過本次課程，學(xué)員能夠了解主流的分布式處理方案以及實(shí)際的實(shí)用案例，并能夠根據(jù)自己的業(yè)務(wù)需要采用相應(yīng)的方案解決實(shí)際的問題。
課程大綱：
內(nèi)容
AM
分布式解決方案介紹
Hadoop?Ecosystem與實(shí)際應(yīng)用案例
-?分布式存儲系統(tǒng)：HDFS
-?分布式計(jì)算系統(tǒng)：MapReduce
-?海量數(shù)據(jù)分析系統(tǒng)：Hive
-?分布式協(xié)調(diào)系統(tǒng)：Zookeeper
-?分布式實(shí)時(shí)讀寫數(shù)據(jù)存儲系統(tǒng)：HBase
-?工作流調(diào)度系統(tǒng)：Ooize

NoSQL與實(shí)際應(yīng)用案例
-?NoSQL與SQL的關(guān)系
-?NoSQL適合的場景?
-?面向列的存儲：Cassandra
-?文檔數(shù)據(jù)庫：MongoDB
-?優(yōu)點(diǎn)?
-?不足?
-?圖數(shù)據(jù)庫：Neo4j
PM
海量數(shù)據(jù)分析技術(shù)-MAPREDUCE
Map?Reduce編程詳解
-?map函數(shù)
-?reduce函數(shù)
-?排序與分區(qū)

跨語言MR框架：Streaming
-?原理
-?實(shí)際應(yīng)用

Hadoop文件壓縮
-?gzip
-?bz2
-?lzo

Hadoop文件格式
-?TextFile
-?SequenceFile
-?RCFile

輸入格式
-?TextInputFormat
-?SequenceFileInputFormat
-?RCFileInputFormat

輸出格式
-?TextOutputFormat
-?SequenceFileOutputFormat
-?RCFileOutputFormat
-?MultipleOutputs

海里網(wǎng)站日志分析系統(tǒng)示例
-?網(wǎng)站日志介紹
-?業(yè)務(wù)分析
-?系統(tǒng)實(shí)現(xiàn)
AM
Hadoop的架設(shè)與維護(hù)
生產(chǎn)環(huán)境部署?
參數(shù)配置?
運(yùn)維操作?
監(jiān)控策略
PM
Cassandra的原理與實(shí)際應(yīng)用
數(shù)據(jù)模型?
編程接口?
-?一致性模型與數(shù)據(jù)容錯(cuò)?
-?CAP
-?ReadRepair
-?Hint
-?AntiPoint
底層文件存儲格式?
與Map?Reduce的整合?
實(shí)際應(yīng)用案例
HBase
數(shù)據(jù)模型?
編程接口?
底層文件格式?
集群管理?
數(shù)據(jù)容錯(cuò)?
與Map?Reduce的整合
?