大數(shù)據(jù)走向云計算

目　錄
第1章　云時代　1
1．1　云計算力量　1
1．2　云計算概述　2
1．2．1　云基本特征　3
1．2．2　云計算簡史　4
1．2．3　云計算演化　5
1．2．4　云服務(wù)形式　6
1．2．5　云時代誰是主角　10
1．3　云計算的原動力　11
1．3．1　芯片與硬件技術(shù)　12
1．3．2　資源虛擬化　12
1．3．3　面向服務(wù)架構(gòu)　13
1．3．4　軟件即服務(wù)　13
1．3．5　互聯(lián)網(wǎng)技術(shù)　14
1．3．6　Web技術(shù)　14
1．4　云研究趨勢　14
1．5　云計算技術(shù)　16
1．5．1　虛擬化技術(shù)　16
1．5．2　數(shù)據(jù)存儲技術(shù)　17
1．5．3　資源管理技術(shù)　19
1．5．4　能耗管理技術(shù)　20
1．5．5　云監(jiān)測技術(shù)　21
1．6　云優(yōu)勢分析　23
1．6．1　優(yōu)化產(chǎn)業(yè)布局　23
1．6．2　推進專業(yè)分工　24
1．6．3　提升資源利用率　25
1．6．4　降低運營成本　26
1．6．5　產(chǎn)生新創(chuàng)價值　26
1．7　云業(yè)務(wù)實施　26
1．7．1　基礎(chǔ)設(shè)施層　27
1．7．2　平臺層　28
1．7．3　實施應(yīng)用層　30
1．8　移動云　31
1．8．1　移動云優(yōu)勢　31
1．8．2　應(yīng)用案例　31
1．9　云標(biāo)準　32
1．9．1　云標(biāo)準定制　32
1．9．2　云標(biāo)準主要內(nèi)容　32
1．9．3　云計算潛在需求分析　33
1．9．4　云標(biāo)準意義　34
1．9．5　云標(biāo)準發(fā)展趨勢　34
1．10　云安全　35
1．10．1　云安全發(fā)展趨勢　36
1．10．2　云安全難點問題　36
1．10．3　云安全新增及增強功能　37
1．10．4　云安全存在問題　38
1．11　云計算的九大威脅　39
第2章　大數(shù)據(jù)時代　41
2．1　什么是大數(shù)據(jù)　41
2．2　大數(shù)據(jù)來源　42
2．3　大數(shù)據(jù)商業(yè)價值　43
2．4　打造高能效數(shù)據(jù)中心　44
2．5　大數(shù)據(jù)變革　45
2．5．1　變革公共衛(wèi)生　45
2．5．2　變革商業(yè)　46
2．5．3　變革思維　48
2．5．4　開啟重大的時代轉(zhuǎn)型　48
2．6　大數(shù)據(jù)的核心　51
2．7　大數(shù)據(jù)的挑戰(zhàn)　51
2．8　大數(shù)據(jù)的現(xiàn)狀　53
2．9　大數(shù)據(jù)推進力　55
2．10　大數(shù)據(jù)存儲　56
2．11　大數(shù)據(jù)治理　57
2．12　大數(shù)據(jù)未來五年路線　58
2．13　大數(shù)據(jù)的應(yīng)用　59
第3章　大數(shù)據(jù)走向云端　63
3．1　時代雙雄　63
3．2 “大數(shù)據(jù)”走進云端　64
3．3　云計算與大數(shù)據(jù)的聯(lián)系　66
3．3．1　云與大數(shù)據(jù)的聯(lián)系　66
3．3．2　大數(shù)據(jù)和云計算的不同之處　67
3．4　數(shù)據(jù)向云計算遷移　67
3．4．1　遷移過程　67
3．4．2　數(shù)據(jù)的丟失與備份　67
3．4．3　遷移應(yīng)注意問題　68
3．4．4　管理與監(jiān)控　68
3．5　云延伸　68
3．5．1　云計算的延伸　69
3．5．2　網(wǎng)絡(luò)管理維護優(yōu)化　69
3．5．3　用戶行為分析　69
3．5．4　個性化推薦　70
3．5．5　數(shù)據(jù)云服務(wù)(DaaS)　70
3．6　云計算與大數(shù)據(jù)挑戰(zhàn)與機遇并存　70
第4章　云下的大數(shù)據(jù)工程　72
4．1　信息所需求的新生力量　72
4．1．1　技術(shù)因素　72
4．1．2　商業(yè)模式因素　73
4．2　信息系統(tǒng)工程　73
4．2．1　云計算基本思想　73
4．2．2　云計算實現(xiàn)　74
4．3　信息系統(tǒng)工程架構(gòu)轉(zhuǎn)變　81
4．3．1　豎井式的信息系統(tǒng)　81
4．3．2　逐漸完善的系統(tǒng)需求　83
4．3．3　全新的系統(tǒng)架構(gòu)　86
4．3．4　新型企業(yè)信息系統(tǒng)模塊　87
4．4　商業(yè)變革因素　92
4．4．1　零售企業(yè)的流程再造　92
4．4．2　IT資源使用新方式　94
4．4．3　整合的新平臺　95
4．4．4　轉(zhuǎn)型新思路　96
4．4．5　創(chuàng)新的新動力　97
4．5　信息工業(yè)革命　97
4．5．1　解放生產(chǎn)力　97
4．5．2　云計算改變信息生活　98
4．5．3　推動社會變革　100
4．6　云計算機遇　102
4．6．1　私有云發(fā)展更快　103
4．6．2　數(shù)據(jù)集中　105
4．6．3　企業(yè)的“云”機遇　106
4．6．4　中國“云”企業(yè)的機遇挑戰(zhàn)　107
第5章　搭建云計算開發(fā)環(huán)境　109
5．1　Hadoop環(huán)境搭建　109
5．1．1　在Linux下安裝Hadoop　109
5．1．2　Hadoop安裝步驟　110
5．1．3　在Windows下安裝Hadoop　115
5．2　Hadoop的優(yōu)點　120
5．3　HBase環(huán)境搭建　121
5．3．1　HBase的系統(tǒng)框架　121
5．3．2　HBase的模型　123
5．3．3　HBase的安裝配置　126
5．4　ZooKeeper環(huán)境搭建　128
5．4．1　ZooKeeper的原理　128
5．4．2　Zookeeper的特點　128
5．4．3　Zookeeper的安裝　129
5．5　MapReduce概述　131
5．5．1　MapReduce實現(xiàn)機制　131
5．5．2　MapReduce執(zhí)行流程　132
5．5．3　MapReduce映射和化簡　133
5．6　Pig環(huán)境搭建　133
5．6．1　Pig概述　133
5．6．2　Pig安裝　134
第6章　分布式文件系統(tǒng)　135
6．1　分布式文件系統(tǒng)概述　135
6．1．1　發(fā)展史　135
6．1．2　實現(xiàn)方法　136
6．1．3　研究狀況　136
6．2　分布式文件系統(tǒng)類型　137
6．2．1　網(wǎng)絡(luò)文件系統(tǒng)　137
6．2．2　Andrew文件系統(tǒng)　142
6．2．3　分布式文件系統(tǒng)　143
6．3　xFS概述　144
6．3．1　xFS體系結(jié)構(gòu)　144
6．3．2　xFS通信　145
6．3．3　xFS進程　145
6．3．4　xFS緩存　147
6．3．5　xFS容錯性　147
6．3．6　xFS安全性　148
6．3．7　xFS特性　148
6．3．8　xFS性能考慮　149
6．4　DAFS概述　149
6．4．1　DAFS基本原理　150
6．4．2　DAFS設(shè)計目的　150
6．4．3　文件訪問方式　151
6．4．4　實現(xiàn)客戶端　151
6．5　GFS概述　152
6．5．1　文件系統(tǒng)架構(gòu)　153
6．5．2　GFS的特點　154
6．5．3　文件系統(tǒng)的容錯性　155
6．5．4　系統(tǒng)管理技術(shù)　155
6．6　GPFS共享文件　156
6．6．1　GPFS概述　156
6．6．2　GPFS特性　158
6．6．3　GPFS的高性能和可擴展性　159
6．7　Lustre并行文件系統(tǒng)　159
6．7．1　Lustre概述　159
6．7．2　Lustre組成部分　161
6．8　分布式鎖服務(wù)Chubby　162
6．8．1　Paxos算法　163
6．8．2　Chubby目標(biāo)設(shè)計　164
6．8．3　Chubby中的Paxos　165
6．8．4　Chubby文件系統(tǒng)　167
6．8．5　Chubby通信協(xié)議　168
6．8．6　正確性和性能　170
6．9　分布式結(jié)構(gòu)數(shù)據(jù)表　171
6．9．1　Bigtable設(shè)計目標(biāo)　171
6．9．2　Bigtable數(shù)據(jù)模型　172
6．9．3　Bigtable系統(tǒng)架構(gòu)　173
6．9．4　Bigtable功能　174
6．9．5　Bigtable主服務(wù)器　174
6．9．6　Bigtable組件　175
6．9．7　性能優(yōu)化　179
第7章　并行計算　181
7．1　并行計算概述　181
7．2　MapReduce基礎(chǔ)　183
7．2．1　編程模型　183
7．2．2　執(zhí)行過程　184
7．2．3　映射和化簡　185
7．2．4　數(shù)據(jù)類型　185
7．2．5　Map類和Reduce類　186
7．2．6　Job對象配置　187
7．3　MapReduce模板　188
7．4　MapReduce計算流程　191
7．4．1　作業(yè)的提交　191
7．4．2　Map任務(wù)的分配　192
7．4．3　Map任務(wù)的執(zhí)行　193
7．4．4　Reduce任務(wù)的分配與執(zhí)行　194
7．5　MapReduce數(shù)據(jù)流優(yōu)化　194
7．5．1　MapReduce輸入與輸出　194
7．5．2　流機制　195
7．5．3　管道機制　196
7．5．4　數(shù)據(jù)流優(yōu)化　197
7．6　MapReduce數(shù)據(jù)類型　198
7．6．1　數(shù)據(jù)內(nèi)置輸入格式　198
7．6．2　數(shù)據(jù)定制輸入格式　199
7．6．3　數(shù)據(jù)定制輸出格式　201
7．7　MapReduce使用算法　203
7．7．1　向量乘法實現(xiàn)　203
7．7．2　內(nèi)存處理　203
7．7．3　關(guān)系運算　204
7．8　參數(shù)/數(shù)據(jù)文件的傳遞與使用　208
7．8．1　傳遞全局作業(yè)參數(shù)　208
7．8．2　查詢?nèi)諱apReduce作業(yè)屬性　209
7．8．3　全局數(shù)據(jù)文件的傳遞　210
第8章　大數(shù)據(jù)存儲倉庫　212
8．1　數(shù)據(jù)倉庫　212
8．1．1　RDBMS擴展到HBase　212
8．1．2　列數(shù)據(jù)庫　213
8．1．3　HBase的特點　215
8．2　HBase數(shù)據(jù)庫　216
8．2．1　HBase集群架構(gòu)　216
8．2．2　HBase系統(tǒng)架構(gòu)　219
8．3　HBase模型　219
8．3．1　邏輯模型　219
8．3．2　物理模型　220
8．4　HBase接口　221
8．4．1　HBase訪問接口　221
8．4．2　shell命令接口　221
8．4．3　HBase Java接口　222
8．5　HBase基本操作　224
8．5．1　HBase存儲格式　225
8．5．2　HBase讀寫流程　225
8．5．3　HBase表操作　226
第9章　分布式鎖　231
9．1　ZooKeeper基本概述　231
9．1．1　ZooKeeper基本原理　231
9．1．2　統(tǒng)一命名服務(wù)　235
9．1．3　配置管理　235
9．1．4　集群管理　236
9．1．5　分布式鎖　237
9．1．6　共享鎖(Locks)　238
9．1．7　隊列　238
9．2　ZooKeeper角色　239
9．2．1　系統(tǒng)模型　239
9．2．2　數(shù)據(jù)模型　240
9．2．3　ZooKeeper的特性　241
9．2．4　ZooKeeper的一致性　242
9．3　ZooKeeper接口與編程　242
9．3．1　ZooKeeper接口　243
9．3．2　ZooKeeper編程實現(xiàn)　244
9．4　性能　246
9．4．1　讀/寫性能測試　246
9．4．2　可靠性測試　246
9．5　ZooKeeper的典型應(yīng)用　247
9．5．1　數(shù)據(jù)發(fā)布與訂閱應(yīng)用　248
9．5．2　負載均衡應(yīng)用　248
9．5．3　分布式通知　249
第10章　數(shù)據(jù)挖掘　250
10．1　數(shù)據(jù)挖掘概述　250
10．1．1　數(shù)據(jù)挖掘起源　251
10．1．2　數(shù)據(jù)挖掘作用　252
10．1．3　定義數(shù)據(jù)挖掘　254
10．1．4　哈希函數(shù)　255
10．1．5　索引　257
10．1．6　實現(xiàn)數(shù)據(jù)挖掘步驟　257
10．2　PageRank工具　258
10．2．1　PageRank概述　258
10．2．2　PageRank定義　259
10．2．3　PageRank相關(guān)算法　262
10．2．4　影響PageRank的因素　263
10．3　關(guān)聯(lián)分析　263
10．3．1　關(guān)聯(lián)分析原理及算法　264
10．3．2　數(shù)據(jù)關(guān)聯(lián)推測功能　264
10．3．3　基于用戶行為分析的關(guān)聯(lián)推薦　264
10．3．4　數(shù)據(jù)關(guān)聯(lián)注意問題　266
10．4　聚類分析　266
10．4．1　聚類分析作用　266
10．4．2　聚類的典型要求　267
10．4．3　聚類分析算法　268
10．4．4　在數(shù)據(jù)挖掘中的應(yīng)用　269
10．5　分類分析　281
10．5．1　決策樹法　281
10．5．2　神經(jīng)網(wǎng)絡(luò)　283
10．6　異常挖掘　284
10．6．1　異常挖掘概述　284
10．6．2　異常挖掘的方法　285
10．7　特異群組分析　288
10．7．1　特性群級挖掘根源　288
10．7．2　何為特異群組挖掘　289
10．7．3　與聚類、異常挖掘的差異　289
10．8　矩估計　293
10．8．1　二階矩估計的AMS算法　293
10．8．2　高階矩估計　294
10．8．3　無限流的處理　294
10．9　衰減窗口　295
10．9．1　定義衰減窗口　296
10．9．2　網(wǎng)絡(luò)流頻繁項集　296
10．10　頻繁項集　297
10．10．1　項集概述　297
10．10．2　A-Priori算法　298
10．10．3　A-Priori算法改進　299
10．10．4　更大數(shù)據(jù)集處理　300
10．11　數(shù)據(jù)降維處理　303
10．11．1　相關(guān)定義　304
10．11．2　降維算法　305
10．11．3　降維方法　306
第11章　社會中的大數(shù)據(jù)　314
11．1　普適計算　314
11．1．1　普適計算定義　315
11．1．2　普適計算核心思想　315
11．1．3　普適計算目的　315
11．1．4　普適計算特點　315
11．1．5　普適計算面臨挑戰(zhàn)　315
11．1．6　普適計算應(yīng)用　316
11．2　數(shù)據(jù)應(yīng)用于治國上　318
11．2．1　循“數(shù)”管理　318
11．2．2　數(shù)據(jù)驗證民權(quán)　319
11．2．3　數(shù)據(jù)“打”假　320
11．3　商務(wù)智能　321
11．3．1　數(shù)據(jù)到知識的跨越　322
11．3．2　數(shù)據(jù)倉庫　323
11．3．3　聯(lián)機分析　324
11．3．4　數(shù)據(jù)挖掘智能產(chǎn)生　326
11．3．5　數(shù)據(jù)可視化　327
11．4　數(shù)據(jù)質(zhì)量法與隱私　328
11．4．1　數(shù)據(jù)質(zhì)量法　328
11．4．2　數(shù)據(jù)隱私　329
11．5　數(shù)據(jù)運動　331
11．5．1　數(shù)據(jù)開放　331
11．5．2　數(shù)據(jù)之爭　333
11．6　數(shù)據(jù)大趨勢　334
11．6．1　數(shù)據(jù)權(quán)　334
11．6．2　數(shù)據(jù)大合流　335
11．6．3　互聯(lián)網(wǎng)再造　336
11．7　數(shù)據(jù)大挑戰(zhàn)　338
11．7．1　數(shù)據(jù)競爭　338
11．7．2　從大數(shù)據(jù)到社會　340
第12章　云下的大數(shù)據(jù)應(yīng)用　342
12．1　云計算如何實現(xiàn)價值　342
12．2　云與大數(shù)據(jù)　342
12．2．1　大的數(shù)據(jù)優(yōu)先級　343
12．2．2　云與大數(shù)據(jù)　343
12．3　云計算與大數(shù)據(jù)的強強聯(lián)合　343
12．3．1　大數(shù)據(jù)的企業(yè)與技術(shù)　344
12．3．2　大數(shù)據(jù)的經(jīng)濟意義　344
12．4　大數(shù)據(jù)時代下的云計算應(yīng)用部署　345
12．5　云計算在快速消費品行業(yè)的應(yīng)用　345
12．5．1　改變傳統(tǒng)交通管理的路徑　346
12．5．2　在智能交通應(yīng)用上的優(yōu)勢　347
12．6　大數(shù)據(jù)在視頻監(jiān)控中的應(yīng)用　348
12．6．1　解決實時視點監(jiān)控需求　349
12．6．2　大數(shù)據(jù)處理解決方案　349
12．6．3　實時高效的分布式視頻監(jiān)控　350
12．7　區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用案例　350
12．7．1　挑戰(zhàn)　351
12．7．2　海量數(shù)據(jù)的處理和分析　351
12．7．3　結(jié)論　352
12．7．4　價值　352