Hadoop大數(shù)據(jù)技術與應用

第1章　初識Hadoop大數(shù)據(jù)技術　1
1．1　大數(shù)據(jù)技術概述　1
1．1．1　大數(shù)據(jù)產(chǎn)生的背景　1
1．1．2　大數(shù)據(jù)的定義　2
1．1．3　大數(shù)據(jù)技術的發(fā)展　2
1．2　Google的“三駕馬車”　3
1．2．1　GFS的思想　3
1．2．2　MapReduce的思想　4
1．2．3　BigTable的思想　6
1．3　Hadoop概述　8
1．3．1　Hadoop對Google公司三篇論文思想的實現(xiàn)　8
1．3．2　Hadoop的發(fā)展歷史　9
1．3．3　Hadoop版本的演變　11
1．3．4　Hadoop的發(fā)行版本　12
1．3．5　Hadoop的特點　12
1．4　Hadoop生態(tài)圈　12
1．5　Hadoop的典型應用場景與應用架構　13
1．5．1　Hadoop的典型應用場景　13
1．5．2　Hadoop的典型應用架構　14
習題　15
第2章　Hadoop環(huán)境設置　16
2．1　安裝前準備　16
2．1．1　安裝虛擬機　17
2．1．2　安裝Ubuntu操作系統(tǒng)　20
2．1．3　關閉防火墻　22
2．1．4　SSH安裝　22
2．1．5　安裝Xshell及Xftp　22
2．1．6　安裝JDK　24
2．1．7　下載Hadoop并解壓　25
2．1．8　克隆主機　27
2．2　Hadoop的安裝　28
2．2．1　安裝單機模式　28
2．2．2　安裝偽分布式模式　29
2．2．3　安裝完全分布式模式　35
習題　41
實驗　搭建Hadoop偽分布式模式環(huán)境　42
第3章　HDFS　44
3．1　HDFS簡介　44
3．2　HDFS的組成與架構　45
3．2．1　NameNode　45
3．2．2　DataNode　46
3．2．3　SecondaryNameNode　46
3．3　HDFS的工作機制　47
3．3．1　機架感知與副本冗余存儲策略　47
3．3．2　文件讀取　49
3．3．3　文件寫入　50
3．3．4　數(shù)據(jù)容錯　52
3．4　HDFS操作　53
3．4．1　通過Web界面進行HDFS操作　53
3．4．2　通過HDFS Shell進行HDFS操作　54
3．4．3　通過HDFS API進行HDFS操作　60
3．5　HDFS的高級功能　68
3．5．1　安全模式　68
3．5．2　回收站　69
3．5．3　快照　70
3．5．4　配額　71
3．5．5　高可用性　71
3．5．6　聯(lián)邦　72
習題　74
實驗1　通過Shell命令訪問HDFS　74
實驗2　熟悉基于IDEA+Maven的Java開發(fā)環(huán)境　77
實驗3　通過API訪問HDFS　86
第4章　YARN　90
4．1　YARN產(chǎn)生的背景　90
4．2　初識YARN　92
4．3　YARN的架構　93
4．3．1　YARN架構概述　93
4．3．2　YARN中應用運行的機制　94
4．3．3　YARN中任務進度的監(jiān)控　94
4．3．4　MapReduce 1與YARN的組成對比　95
4．4　YARN的調度器　95
4．4．1　先進先出調度器　95
4．4．2　容器調度器　96
4．4．3　公平調度器　97
4．4．4　三種調度器的比較　98
習題　98
第5章　MapReduce　99
5．1　MapReduce概述　99
5．1．1　MapReduce是什么　99
5．1．2　MapReduce的特點　99
5．1．3　MapReduce不擅長的場景　100
5．2　MapReduce編程模型　100
5．2．1　MapReduce編程模型概述　100
5．2．2　MapReduce編程實例　101
5．3　MapReduce編程進階　112
5．3．1　MapReduce的輸入格式　112
5．3．2　MapReduce的輸出格式　114
5．3．3　分區(qū)　115
5．3．4　合并　118
5．4　MapReduce的工作機制　119
5．4．1　MapReduce作業(yè)的運行機制　119
5．4．2　進度和狀態(tài)的更新　120
5．4．3　Shuffle　121
5．5　MapReduce編程案例　122
5．5．1　排序　122
5．5．2　去重　126
5．5．3　多表查詢　127
習題　129
實驗1　分析和編寫WordCount程序　130
實驗2　MapReduce序列化、分區(qū)實驗　131
實驗3　使用MapReduce求出各年銷售筆數(shù)、各年銷售總額　134
實驗4　使用MapReduce統(tǒng)計用戶在搜狗上的搜索數(shù)據(jù)　136
第6章　HBase、Hive、Pig　139
6．1　HBase　139
6．1．1　行式存儲與列式存儲　139
6．1．2　HBase簡介　140
6．1．3　HBase的數(shù)據(jù)模型　141
6．1．4　HBase的物理模型　143
6．1．5　HBase的系統(tǒng)架構　144
6．1．6　HBase的安裝　147
6．1．7　訪問HBase　152
6．2　Hive　157
6．2．1　安裝Hive　157
6．2．2　Hive的架構與工作原理　160
6．2．3　Hive的數(shù)據(jù)類型與存儲格式　163
6．2．4　Hive的數(shù)據(jù)模型　167
6．2．5　查詢數(shù)據(jù)　169
6．2．6　用戶定義函數(shù)　170
6．3　Pig　171
6．3．1　Pig概述　171
6．3．2　安裝Pig　172
6．3．3　Pig Latin編程語言　172
6．3．4　Pig代碼實例　177
6．3．5　用戶自定義函數(shù)　179
習題　181
實驗1　HBase實驗——安裝和配置（可選）　181
實驗2　HBase實驗——通過HBase Shell訪問HBase（可選）　185
實驗3　HBase實驗——通過Java API訪問HBase　187
實驗4　HBase實驗——通過Java API開發(fā)基于HBase的MapReduce程序　189
實驗5　Hive實驗——Metastore采用Local模式（MySQL數(shù)據(jù)庫）搭建Hive環(huán)境（可選）　191
實驗6　Hive實驗——Hive常用操作　193
實驗7　Pig實驗——安裝和使用Pig（可選）　194
實驗8　Pig實驗——使用Pig Latin操作員工表和部門表　195
第7章　Flume　198
7．1　Flume產(chǎn)生的背景　198
7．2　Flume簡介　198
7．3　Flume的安裝　199
7．4　Flume的架構　200
7．5　Flume的應用　201
7．5．1　Flume的組件類型及其配置項　201
7．5．2　Flume的配置和運行方法　206
7．5．3　Flume配置示例　207
7．6　Flume的工作方式　209
習題　210
實驗1　Flume的配置與使用1——Avro Source + Memory Channel + Logger Sink　211
實驗2　Flume的配置與使用2——Syslogtcp Source + Memory Channel + HDFS Sink　212
實驗3　Flume的配置與使用3——Exec Source + Memory Channel + Logger Sink　213
第8章　Sqoop　214
8．1　Sqoop背景簡介　214
8．2　Sqoop的基本原理　215
8．3　Sqoop的安裝與部署　216
8．3．1　下載與安裝　216
8．3．2　配置Sqoop　217
8．4　Sqoop應用　219
8．4．1　列出MySQL數(shù)據(jù)庫的基本信息　219
8．4．2　MySQL和HDFS數(shù)據(jù)互導　219
8．4．3　MySQL和Hive數(shù)據(jù)互導　220
習題　221
實驗　Sqoop常用功能的使用　222
第9章　ZooKeeper　227
9．1　ZooKeeper簡介　227
9．2　ZooKeeper的安裝　228
9．2．1　單機模式　228
9．2．2　集群模式　229
9．3　ZooKeeper的基本原理　231
9．3．1　Paxos算法　231
9．3．2　Zab算法　232
9．3．3　ZooKeeper的架構　232
9．3．4　ZooKeeper的數(shù)據(jù)模型　233
9．4　ZooKeeper的簡單操作　235
9．4．1　通過ZooKeeper Shell命令操作ZooKeeper　235
9．4．2　通過ZooInspector工具操作ZooKeeper　238
9．4．3　通過Java API操作ZooKeeper　238
9．5　ZooKeeper的特性　239
9．5．1　會話　239
9．5．2　臨時節(jié)點　240
9．5．3　順序節(jié)點　240
9．5．4　事務操作　241
9．5．5　版本號　241
9．5．6　監(jiān)視　242
9．6　ZooKeeper的應用場景　243
9．6．1　Master選舉　244
9．6．2　分布式鎖　245
習題　246
實驗　ZooKeeper的3種訪問方式　246
第10章　Ambari　249
10．1　Ambari簡介　249
10．1．1　背景　249
10．1．2　Ambari的主要功能　250
10．2　Ambari的安裝　250
10．2．1　安裝前準備　250
10．2．2　安裝Ambari　254
10．3　利用Ambari管理Hadoop集群　257
10．3．1　安裝與配置HDP集群　258
10．3．2　節(jié)點的擴展　264
10．3．3　啟用HA　267
10．4　Ambari的架構和工作原理　271
10．4．1　Ambari的總體架構　271
10．4．2　Ambari Agent　272
10．4．3　Ambari Server　272
習題　273
第11章　Mahout　274
11．1　Mahout簡介　274
11．1．1　什么是Mahout　274
11．1．2　Mahout能做什么　275
11．2　Taste簡介　276
11．2．1　DataModel　276
11．2．2　Similarity　277
11．2．3　UserNeighborhood　277
11．2．4　Recommender　277
11．2．5　RecommenderEvaluator　277
11．2．6　RecommenderIRStatsEvaluator　278
11．3　使用Taste構建推薦系統(tǒng)　278
11．3．1　創(chuàng)建Maven項目　278
11．3．2　導入Mahout依賴　278
11．3．3　獲取電影評分數(shù)據(jù)　278
11．3．4　編寫基于用戶的推薦　279
11．3．5　編寫基于物品的推薦　280
11．3．6　評價推薦模型　281
11．3．7　獲取推薦的查準率和查全率　281
習題　282
實驗　基于Mahout的電影推薦系統(tǒng)　283
綜合實驗　搜狗日志查詢分析（MapReduce+Hive綜合實驗）　284
參考文獻　287