Hadoop大數(shù)據(jù)分析技術

第1章  Hadoop概述與大數(shù)據(jù)環(huán)境準備 1
1.1  大數(shù)據(jù)定義 2
1.2  Hadoop生態(tài)介紹 2
1.2.1  Hadoop簡介 2
1.2.2  Hadoop版本簡介 4
1.2.3  Hadoop生態(tài)系統(tǒng)和組件介紹 6
1.3  Hadoop 3新特性 7
1.4  虛擬機安裝 9
1.5  安裝Linux操作系統(tǒng) 10
1.6  SSH工具與使用 15
1.7  Linux統(tǒng)一設置 16
1.8  小結 18
第2章  Hadoop偽分布式集群搭建 19
2.1  安裝獨立運行的Hadoop 19
2.2  Hadoop偽分布式環(huán)境準備 22
2.3  Hadoop偽分布式安裝 26
2.4  HDFS操作命令 31
2.5  Java項目訪問HDFS 33
2.5.1  創(chuàng)建Maven項目 34
2.5.2  HDFS操作示例 36
2.6  winutils 38
2.7  快速MapReduce程序示例 39
2.8  小結 42
第3章  HDFS分布式存儲實戰(zhàn) 43
3.1  HDFS的體系結構 43
3.2  NameNode的工作 44
3.2.1  查看鏡像文件 45
3.2.2  查看日志文件 46
3.2.3  日志文件和鏡像文件的操作過程 47
3.3  SecondaryNameNode 49
3.4  DataNode 50
3.5  HDFS的命令 50
3.6  遠程過程調(diào)用 51
3.7  小結 53
第4章  MapReduce實戰(zhàn) 55
4.1  MapReduce的運算過程 55
4.2  WordCount示例 57
4.3  自定義Writable 60
4.4  Partitioner分區(qū)編程 64
4.5  自定義排序 66
4.6  Combiner編程 67
4.7  默認Mapper和默認Reducer 68
4.8  倒排索引 69
4.9  Shuffle 73
4.10  小結 77
第5章  ZooKeeper與高可用集群實戰(zhàn) 79
5.1  ZooKeeper簡介 79
5.1.1  Zxid 80
5.1.2  版本號 81
5.2  單一節(jié)點安裝ZooKeeper 82
5.3  基本客戶端命令 83
5.4  Java代碼操作ZooKeeper 86
5.5  ZooKeeper集群安裝 91
5.6  znode節(jié)點類型 92
5.7  觀察節(jié)點 93
5.8  配置Hadoop高可用集群 93
5.9  用Java代碼操作集群 102
5.10  小結 104
第6章  Hive數(shù)據(jù)倉庫實戰(zhàn) 105
6.1  Hive3的安裝配置 107
6.2  Hive的命令 110
6.3  Hive內(nèi)部表 114
6.4  Hive外部表 116
6.5  Hive表分區(qū) 117
6.5.1  分區(qū)技術細節(jié) 117
6.5.2  分區(qū)示例 119
6.6  查詢示例匯總 121
6.7  Hive函數(shù) 122
6.8  Hive自定義函數(shù) 128
6.9  Hive視圖 132
6.10  hiveserver2 132
6.11  使用JDBC連接hiveserver2 134
6.12  小結 135
第7章  HBase數(shù)據(jù)庫實戰(zhàn) 136
7.1  HBase的特點 136
7.2  HBase安裝 139
7.2.1  HBase的單節(jié)點安裝 140
7.2.2  HBase的偽分布式安裝 142
7.2.3  Java客戶端代碼 144
7.3  HBase集群安裝 150
7.4  HBase Shell操作 153
7.4.1  數(shù)據(jù)模型定義 154
7.4.2  數(shù)據(jù)基本操作 156
7.5  協(xié)處理器 160
7.6  Phoenix 162
7.7  小結 168
第8章  Flume數(shù)據(jù)采集實戰(zhàn) 169
8.1  Flume的安裝與配置 170
8.2  快速示例 171
8.3  在ZooKeeper中保存Flume的配置文件 172
8.4  Flume的更多Source 176
8.4.1  Avro Source 176
8.4.2  Thrift Source和Thrift Sink 180
8.4.3  Exec Source 183
8.4.4  Spool Source 184
8.4.5  HDFS Sinks 184
8.5  小結 185
第9章  Kafka實戰(zhàn) 186
9.1  Kafka的特點 187
9.2  Kafka術語 188
9.3  Kafka安裝與部署 189
9.3.1  單機部署 189
9.3.2  集群部署 195
9.4  小結 198
第10章  影評大數(shù)據(jù)分析項目實戰(zhàn) 199
10.1  項目介紹 199
10.2  項目需求分析 199
10.3  項目詳細實現(xiàn) 203
10.3.1  搭建項目環(huán)境 203
10.3.2  編寫爬蟲類 206
10.3.3  編寫分詞類 207
10.3.4  第一個job的Map階段實現(xiàn) 210
10.3.5  第一個job的Reducer階段實現(xiàn) 210
10.3.6  第二個job的Map階段實現(xiàn) 211
10.3.7  第二個job的自定義排序類階段的實現(xiàn) 211
10.3.8  第二個job的自定義分區(qū)階段實現(xiàn) 212
10.3.9  第二個job的Reduce階段實現(xiàn) 212
10.3.10  Run程序主類實現(xiàn) 213
10.3.11  編寫詞云類 214
10.3.12  效果測試 215
第11章  旅游酒店評價大數(shù)據(jù)分析項目實戰(zhàn) 216
11.1  項目介紹 216
11.2  項目需求分析 217
11.2.1  數(shù)據(jù)集需求 217
11.2.2  功能需求 217
11.3  項目詳細實現(xiàn) 218
11.3.1  數(shù)據(jù)集上傳到HDFS 219
11.3.2  Hadoop數(shù)據(jù)清洗 221
11.3.3  構建Hive數(shù)據(jù)倉庫表 225
11.3.4  Sqoop數(shù)據(jù)導入與導出 230
11.3.5  數(shù)據(jù)可視化開發(fā) 232