模塊一、Hadoop?2.x入(ru)門?
001 為什么開設Hadoop 2.x課程以及企業中的應用 ? ? ? ? ? ? ? ? ? ? ? ? ? ??
002 課程大綱介紹、課程學習注意事項 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
003 安裝Linux虛擬機、基本設置（Ip地址配置、主機名、創建用戶等） ? ? ? ? ? ? ? ? ? ??
004 Linux遠程四大工具使用 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
005 主機名與IP映射配置、man命令以及如何創建查看文件內容 ? ? ? ? ? ? ? ? ? ? ? ? ?
006 Linux系統中文件類型、權限、用戶講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
007 對文件cp、mv命令講解、設置用戶sudo和安裝JDK ? ? ? ? ? ? ? ? ? ? ? ? ??
008 Hadoop 2.x介紹與生態系統重要框架講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
009 hadoop 起源、三大版本和下載編譯說明 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
010 hadoop 2.5.0編譯準備工作（安裝Maven、系統依賴包等） ? ? ? ? ? ? ? ? ? ?
011 對Haodop 2.5.0進行編譯、目錄結構講解以及編譯注意事項 ? ? ? ? ? ? ? ? ? ? ?
012 將hadoop 2.x源碼導入Eclipse中，進行查看和編輯修改 ? ? ? ? ? ? ? ? ? ??
013 Hadoop 2.x模塊之HDFS架構概要介紹講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ??
014 Hadoop 2.x模塊之YARN架構和MapReduce on YARN概要介紹講解 ? ? ? ? ??
015 Hadoop 2.x安裝部署前的準備 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
016 在單機模式下運行MapReduce案例和偽分布式安裝配置HDFS ? ? ? ? ? ? ? ? ? ? ?
017 運行MapReduce程序（輸入輸出數據來源于HDFS）和講解HDFS基本Shell命令操作 ? ? ? ?
018 偽分布式部署YARN（配置與啟動）和在YARN上運行MapReduce任務 ? ? ? ? ? ? ? ??
019 HDFS權限檢查講解和運行詞頻統計WordCount程序 ? ? ? ? ? ? ? ? ? ? ? ? ?
020 MapReduce歷史服務JobHistoryServer講解和啟動Hadoop 2.x服務組件的三種方式?
021 分析三種啟動方式腳本和引出ssh協議作用 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
022 講解SSH協議和SSH無密鑰登陸原理 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
023 配置SSH無密鑰、使用start-dfs.sh啟動HDFS所有服務組件和講解Hadoop與Java版本選擇?
024 Hadoop 2.x兩種配置文件講解說明 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
025 如何配置Hadoop 2.x中各個守護進程運行的主機 ? ? ? ? ? ? ? ? ? ? ? ? ? ?
026 如何配置HDFS相關數據存儲的本地目錄 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
027 運行在YARN上的MapReduce程序相關日志（應用日志和Container日志） ? ? ? ? ? ?
028 啟用運行在YARN上應用程序日志聚合功能和MapReduce Uber模式 ? ? ? ? ? ? ? ??
029 Hadoop 2.x分布式安裝部署環境準備之克隆虛擬機和配置主機名與IP地址 ? ? ? ? ? ? ? ?
030 Hadoop 2.x分布式安裝部署環境準備之集群hosts映射配置和時間同步配置 ? ? ? ? ? ? ?
031 Hadoop 2.x分布式集群安裝部署啟動（基于偽分布式進行） ? ? ? ? ? ? ? ? ? ? ??
032 Hadoop 2.x分布式安裝部署之集群部署的基本測試驗證和基準測試（集群性能和Hadoop 2.x性能）?
033 Hadoop 2.x分布式安裝部署之配置HDFS與YARN的主節點到從節點的SSH無密鑰登陸、解決問題 ??
034 YARN中的Web Application Proxy講解 ? ? ? ? ? ? ? ? ? ? ? ??
035 閱讀講解Hadoop 2.x官方文檔集群如何安裝和CLI MiniCluster講解 ? ? ? ? ? ?
036 如何增加和卸載集群節點、卸載HDFS的DataNode節點 ? ? ? ? ? ? ? ? ? ? ? ??
037 卸載YARN的NodeManager節點和集群增加節點講解 ? ? ? ? ? ? ? ? ? ? ? ??
038 企(qi)業級Hadoop 2.x中(zhong)HDFS、YRAN的架構(gou)設(she)計和(he)MR運行流程圖預(yu)覽 ?
? ? ? ? ? ? ?
模塊二、分布式文件系統HDFS
039 分布式文件系統架構之一設計目標和架構講解一 ? ? ? ? ? ? ? ? ? ? ? ?
040 分布式文件系統架構之二架構設計NameNode和DataNode詳解 ? ? ? ? ??
041 分布式文件系統架構之三塊Block的存放策略和垃圾回收 ?
042 分布式文件系統架構之四NameNode啟動過程詳解 ? ? ? ? ? ? ? ? ? ?
043 分布式文件系統架構之五NameNode啟動過程中安全模式詳解 ? ? ? ? ? ? ??
044 分布式文件系統架構之六使用oiv和oev查看NameNode的fsimage和edits文件內容?
045 分布式文件系統架構之七SecondaryNameNode功能詳解 ? ? ? ? ? ??
046 分布式文件系統架構之八如何使用SNN恢復NN ? ? ? ? ? ? ? ? ? ? ??
047 HDFS Shell 命令使用講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ?
048 HDFS 管理命令講解和使用Eclipse創建Maven工程 ? ? ? ? ? ? ??
049 ?使用HDFS URL API詳解和查看IOUtils源碼 ? ? ? ? ? ? ? ?
050 使用HDFS FS API詳解之一多種方式獲取FileSystem實例 ? ? ? ? ?
051 使用HDFS FS API詳解之二偽裝用戶方式操作HDFS和向HDFS上寫文件 ? ? ?
052 使用HDFS FS API詳解之三獲取文件的存儲信息和集群DataNodes信息以及其他操 ? ?
053 使用HDFS FS API詳解之四遠程Debug調試跟蹤程序 ? ? ? ? ? ? ??
054 使用HDFS FS API詳解之五本地文件系統LocalFileSystem講解和百度網盤功能講?
055 深入講解HDFS客戶端配0置和配置信息分類 ? ? ? ? ? ? ? ? ? ? ? ? ?
056 HDFS應用案例講解之需求說明分析 ? ? ? ? ? ? ? ? ? ? ? ? ? ??
057 HDFS應用案例講解之編碼實現與測試說明該 ? ? ? ? ? ? ? ? ? ? ? ??
058 Hadoop 2.x底層通訊協議RPC講解和編程實現遠程過程調用 ? ? ? ? ? ? ?
059 HDFS各守護進程之間通信的RPC協議和如何調式讀取文件內容 ? ? ? ? ? ? ? ?
060 Hadoop 2.x源碼遠程調試兩種方式講解和如何使用打印日志進行調試 ? ? ? ? ?
061 使用Eclipse進行對Hadoop 2.x源碼進行遠程調試（查看NameNode啟動過程）
?
模塊三、分布式資源管理框架YARN
062 云計算與大數據Hadoop關系、Hadoop 1.x與Hadoop 2.x比較
063 分布式資源管理框架YARN功能詳解 ? ? ? ? ? ? ? ? ? ?
064 YARN架構組件詳解、通信協議講解和以YARN為核心的生態系統 ? ? ?
065 YARN監控界面詳解（YARN如何管理監控集群資源） ? ? ? ? ??
066 企業測試機配置說明、如何對節點資源進行配置管理 ? ? ? ? ? ? ?
067 YARN對集群資源（內存和CPU）管理與隔離講解 ? ? ? ? ? ??
068 YARN命令使用講(jiang)(jiang)解、YARN的工作流程講(jiang)(jiang)解? ?
069 YARN中應用(yong)歷史服(fu)務TimelineServer配置講解 ? ? ? ?
070 國內(nei)外主要的(de)Hadoop 2.x相關的(de)幾(ji)大發行(xing)版本講解（CDH，HDP等）
?
模塊四、分布(bu)式計算(suan)框架MapReduce
071 企業(ye)大數據應用和MapReduce編程模型(xing)講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
072 MapReduce思想原理和如何在(zai)YARN上運(yun)行 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
073 分析(xi)WordCount程序執行流程以及編(bian)寫(xie)MapReduce八股文格(ge)式 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
074 以【八(ba)股文(wen)格式】編寫WordCount程序 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
075 優化WordCount程序（實現Tool接口）以及總結如(ru)何編寫MapReduce程序 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
076 MapReduce程(cheng)序(xu)中如何自定義計數器和WordCount程(cheng)序(xu)中優化(hua)注意事項 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
077 MapReduce程序(xu)默認情況下(xia)如(ru)何對輸(shu)入(ru)文(wen)件進(jin)行讀取(qu)和(he)輸(shu)出文(wen)件進(jin)行寫入(ru) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
078 在Linux系統下(xia)使(shi)用Eclipse開發(fa)測試(shi)MapReduce程序 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
079 如(ru)何編譯Win7下Hadoop 2.x插件和配置運(yun)行使用 ? ? ? ? ? ? ? ? ?
080 不同模(mo)式(shi)下(xia)運(yun)行的Counters、如何從YARN監控頁面(mian)查詢(xun)以運(yun)行MapReduce程(cheng)序及MapReduce Shuffle講解一 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
081 MapReduce Shuffle畫圖講解二 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
082 MapReduce Shuffle講解三 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
083 如何在(zai)MapReduce程序中(zhong)設置Shuffle階段的(de)五大要(yao)點以及MapReduce程序可以沒有Reduce類測試(shi)講解(jie) ? ? ? ? ? ? ? ? ? ?
084 如(ru)何設置(zhi)MapReduce Job中Reduce Task數量及總(zong)體把握MapReduce 框架運(yun)行過程 ? ? ? ? ? ? ? ? ? ? ? ? ??
085 通過(guo)跟蹤源碼分析MapReduce提交Job的(de)過(guo)程
086 MapReduce Job運(yun)行時如何計(ji)算Map Task個(ge)數（計(ji)算InputSplit） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
087 MapReduce Job提交的(de)兩種運行(xing)方式(shi)源碼(ma)分析及Mapper和Reducer類分析講(jiang)解(jie) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
088 依據基類(lei)Mapper和Reducer編(bian)寫MapReduce編(bian)程模板 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
089 小配(pei)置MapReduce Job、MapReduce的(de)默認配(pei)置（源碼分(fen)析）和修改優化MapReduce編程模板 ? ? ? ? ? ? ? ? ? ? ??
090 如何依據MapReduce模板編寫Job程序并測試 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
091 MapReduce單元測試(shi)框架MRUnit基本使(shi)用講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
092 使(shi)用MRUnit對Mapper、Reducer進行單元(yuan)測試 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
093 通過(guo)MapReduce自(zi)定的數(shu)據類(lei)型源碼(ma)分析，如何自(zi)定義數(shu)據類(lei)型 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
094 在定義Key的(de)數據(ju)類型時(shi)，如(ru)何定義優化比較器Comaprator ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
095 編(bian)寫自定義數據類型Key，實現優化比較器Comparator?
096 自定義數據類型時(shi)注意事項及企業(ye)大數據中常用(yong)的MapReduce應用(yong) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
097 三大運營商業務需求(qiu)及手機(ji)流量統計需求(qiu)分析（原數(shu)據和(he)業務） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
098 依據業務分(fen)析(xi)實現手機流量統計(ji)MapReduce編碼 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
099 編寫MapReduce程序及測試 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
100 MapReduce初級應(ying)用案例之TopKey講解一(yi) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
101 MapReduce初級應用案(an)例之TopKey講解(jie)二 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
102 源碼分析講解MapReduce輸(shu)入格式(shi)InputFormat ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
103 從(cong)源碼(ma)和(he)應(ying)用角(jiao)度講解常用的InputFormat ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
104 SequenceFileInputFormat應用講解和如(ru)何自定義InputFormat（解析(xi)XML文件） ? ? ? ? ? ? ? ? ? ? ? ??
105 通(tong)過(guo)源(yuan)碼和對(dui)比講解MapReduce輸出(chu)格式OutputFormat及常用的OutputFormat解析 ? ? ? ? ? ? ? ? ? ? ? ? ?
106 MapReduce輸(shu)出多(duo)個指定(ding)的文(wen)件MultipleOutputs使(shi)用講解(jie) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
107 MapReduce Shuffle中分(fen)區Partitioner講解（結(jie)合實際案例） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
108 MapReduce Shuffle中合并(bing)Combiner講解（功能、實際應用(yong)） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
109 MapReduce Shuffle中Key的比較器講(jiang)解RawComparator以及通(tong)過(guo)實(shi)際應用(yong)引出二次排序 ? ? ? ? ? ? ? ? ? ? ? ?
110 依據(ju)需求(qiu)實現key相同時對value進行排序(xu)，使用二次(ci)排序(xu)實現（自定義數據(ju)類型key，分組比較器等） ? ? ? ? ? ? ? ? ? ? ? ? ? ?
111 二次(ci)排(pai)序案例(li)的(de)優化（自定義分區和整(zheng)數字(zi)節比較時的(de)注(zhu)意事項(xiang)） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
112 MapReduce編程優(you)化之(zhi)一配置參數(shu)的幾(ji)種(zhong)設(she)置方式及優(you)先級 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
113 MapReduce編程(cheng)優(you)化之二(er)MapReduce中(zhong)的Compression ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
114 MapReduce編(bian)程優化之三分布式緩存(cun)DistributedCache使用講解(jie)一 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
115 MapReduce編程優化之三(san)分(fen)布式(shi)緩(huan)存(cun)DistributedCache使用講解二 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
116 MapReduce編程優(you)化(hua)之四(si)MapReduce 舊API的(de)區(qu)別與使用(yong)講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
117 MapReduce編程優化之(zhi)五MapReduce多(duo)任務依賴（ControlledJob和JobControl） ? ? ? ? ? ? ? ? ? ? ??
118 MapReduce編(bian)程優化之六(liu)鏈(lian)式Mapper的使用ChainMapper和ChainReducer ? ? ? ? ? ? ? ? ? ? ? ? ? ?
119 MapReduce編程(cheng)優(you)化之七MapReduce Join算法講(jiang)解一 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
120 MapReduce編程優化之七MapReduce Join算法講解(jie)二(er) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
121 MapReduce編程優(you)化之(zhi)八小文件處理幾種方式(shi)講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
122 MapReduce編(bian)程(cheng)優(you)化(hua)之九MapReduce Shuffle階段的(de)配(pei)置調優(you)以及Hadoop1.x的(de)MR程(cheng)序運行在Hadoop 2.x上的(de)注意事(shi)項 ? ? ?
? ? ? ? ? ? ? ? ? ? ??
.png)
合作伙伴與授權機構
