Hadoop高級(jí)開(kāi)發(fā)應(yīng)用與實(shí)踐

互聯(lián)網(wǎng)企業(yè)和云計(jì)算服務(wù)企業(yè)每天都會(huì)產(chǎn)生大量的數(shù)據(jù)并面臨高并發(fā)的嚴(yán)峻考驗(yàn)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足大數(shù)據(jù)量高并發(fā)的要求，何以解憂？Hadoop！本課程針對(duì)Hadoop大數(shù)據(jù)處理技術(shù)的項(xiàng)目實(shí)戰(zhàn)需求，有針對(duì)性設(shè)計(jì)；以幫助學(xué)員實(shí)現(xiàn)基于Hadoop的應(yīng)用開(kāi)發(fā)。

課程目標(biāo)

• 全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景；
• 全程項(xiàng)目實(shí)戰(zhàn)訓(xùn)練；
• 徹底掌握使用Hadoop進(jìn)行MapReduce程序開(kāi)發(fā)；
• 熟悉分布式計(jì)算領(lǐng)域的常用算法；

課程綱要

第 一講 由案例引入Hadoop技術(shù)

1. 案例背景
2. 案例功能模塊簡(jiǎn)介
3. 數(shù)據(jù)導(dǎo)入：Flume
4. 數(shù)據(jù)分析
5. Hadoop MapReduce
6. Hadoop MapReduce Streaming編程
7. MapReduce分布式程序
8. Hadoop 核心代碼剖析
9. HDFS分布式文件系統(tǒng)編程

第二講 Hadoop Mapreduce高級(jí)編程

1. ToolRunner介紹
2. 使用MRUnit進(jìn)行測(cè)試
3. 利用Combiners來(lái)減少中間數(shù)據(jù)
4. 使用Configure和Close方法來(lái)進(jìn)行Map/Reduce設(shè)置和關(guān)閉
5. 編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡
6. 直接訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS）
7. 使用分布式緩存（Distributed Cache）

第三講 MapReduce的優(yōu)化

1. map優(yōu)化
2. reduce優(yōu)化
3. 小文件優(yōu)化
4. 第四講 MapReduce的任務(wù)調(diào)度
5. Queue調(diào)度的使用
6. 公平調(diào)度的使用
7. 能力調(diào)度的使用

第五講 MapReduce編程實(shí)戰(zhàn)

1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
4. 第六講 flume+hadoop日志收集實(shí)戰(zhàn)
5. flume核心組件講解
6. flume自帶的組件分析
7. flume二次開(kāi)發(fā)實(shí)戰(zhàn)

第七講 用戶行為分析系統(tǒng)案例解析與技術(shù)分享

第八講 CDR詳單系統(tǒng)案例解析與技術(shù)分享