大數(shù)據(jù)挖掘及應(yīng)用

目錄
第1章大數(shù)據(jù)挖掘及應(yīng)用概論1
1.1大數(shù)據(jù)智能分析處理的普及和應(yīng)用1
1.1.1云計(jì)算1
1.1.2大數(shù)據(jù)3
1.1.3云計(jì)算與大數(shù)據(jù)的智能應(yīng)用4
1.2大數(shù)據(jù)的發(fā)展及挑戰(zhàn)10
1.2.1大數(shù)據(jù)的發(fā)展催生三元空間世界10
1.2.2大數(shù)據(jù)智能分析處理面臨的挑戰(zhàn)12
1.3數(shù)據(jù)挖掘概述14
1.3.1數(shù)據(jù)挖掘的概念14
1.3.2數(shù)據(jù)挖掘的功能15
1.3.3數(shù)據(jù)挖掘運(yùn)用的技術(shù)16
1.3.4大數(shù)據(jù)挖掘與傳統(tǒng)數(shù)據(jù)挖掘16
1.4大數(shù)據(jù)挖掘的計(jì)算框架17
1.4.1大數(shù)據(jù)挖掘計(jì)算框架17
1.4.2大數(shù)據(jù)挖掘處理基本流程21
1.5大數(shù)據(jù)時(shí)代“互聯(lián)網(wǎng)+”的未來:智能互聯(lián)23
1.6本書架構(gòu)26
1.7小結(jié)27
1.8習(xí)題27
1.9參考文獻(xiàn)28第2章數(shù)據(jù)認(rèn)知與預(yù)處理29
2.1數(shù)據(jù)分析的定義和流程30
2.1.1如何理解和描述數(shù)據(jù)分析的問題30
2.1.2數(shù)據(jù)獲取與準(zhǔn)備31
2.1.3數(shù)據(jù)質(zhì)量評估32
2.2數(shù)據(jù)類型33
2.2.1屬性的定義33
2.2.2標(biāo)稱屬性33
2.2.3二元屬性34
2.2.4序值屬性34
2.2.5數(shù)值屬性34
2.3數(shù)據(jù)的統(tǒng)計(jì)描述方法35
2.3.1數(shù)據(jù)的中心趨勢度量35
2.3.2數(shù)據(jù)的離散趨勢度量37
2.4數(shù)據(jù)對象關(guān)系的計(jì)算方法39
2.4.1數(shù)據(jù)相似性計(jì)算方法40
2.4.2數(shù)據(jù)相關(guān)性計(jì)算方法46
2.5數(shù)據(jù)準(zhǔn)備48
2.5.1數(shù)據(jù)清洗與集成48
2.5.2數(shù)據(jù)歸約52
2.5.3數(shù)據(jù)轉(zhuǎn)換58
2.6數(shù)據(jù)統(tǒng)計(jì)分析常用工具介紹61
2.6.1Excel統(tǒng)計(jì)分析工具61
2.6.2SPSS統(tǒng)計(jì)分析工具63
2.6.3SAS統(tǒng)計(jì)分析工具64
2.6.4R語言統(tǒng)計(jì)分析工具66
2.7SPSS案例分析68
2.7.1日志文件數(shù)據(jù)準(zhǔn)備68
2.7.2數(shù)據(jù)錄入與編輯68
2.7.3數(shù)據(jù)清洗與轉(zhuǎn)換70
2.7.4數(shù)據(jù)方差分析72
2.7.5數(shù)據(jù)相關(guān)性分析74
2.7.6數(shù)據(jù)間距離分析74
2.8小結(jié)77
2.9習(xí)題78
2.10參考文獻(xiàn)79第3章數(shù)據(jù)可視化80
3.1可視化簡介80
3.2高維數(shù)據(jù)可視化81
3.2.1降維方法82
3.2.2非降維方法84
3.3網(wǎng)絡(luò)數(shù)據(jù)可視化90
3.3.1節(jié)點(diǎn)鏈接法90
3.3.2鄰接矩陣布局96
3.3.3混合布局98
3.4可視化案例分析99
3.4.1案例一:ChinaVIS2015競賽題99
3.4.2案例二:VASTChallenge2016競賽題107
3.5小結(jié)120
3.6習(xí)題121
3.7參考文獻(xiàn)122第4章數(shù)據(jù)關(guān)聯(lián)分析123
4.1數(shù)據(jù)關(guān)聯(lián)分析簡介123
4.2基本概念125
4.2.1頻繁項(xiàng)集和關(guān)聯(lián)規(guī)則126
4.2.2閉項(xiàng)集和極大頻繁項(xiàng)集128
4.2.3稀有模式和負(fù)模式129
4.3Apriori算法130
4.3.1Apriori算法的核心思想131
4.3.2Apriori算法描述132
4.3.3改進(jìn)的Apriori算法133
4.4FPGrowth算法137
4.4.1FPGrowth算法的核心思想138
4.4.2FPGrowth算法描述139
4.5面向大數(shù)據(jù)的有效數(shù)據(jù)結(jié)構(gòu)142
4.6關(guān)聯(lián)規(guī)則有效性的評估方法143
4.6.1關(guān)聯(lián)規(guī)則興趣度評估144
4.6.2關(guān)聯(lián)規(guī)則相關(guān)度評估144
4.6.3其他相關(guān)評估度量方法146
4.7多維關(guān)聯(lián)規(guī)則挖掘148
4.8多層關(guān)聯(lián)規(guī)則挖掘151
4.9基于Python平臺的案例分析156
4.10小結(jié)158
4.11習(xí)題159
4.12參考文獻(xiàn)161第5章數(shù)據(jù)分類分析163
5.1基本概念和術(shù)語163
5.1.1數(shù)據(jù)分類163
5.1.2解決分類問題的一般方法165
5.2決策樹算法166
5.2.1決策樹歸納166
5.2.2決策樹構(gòu)建167
5.2.3屬性測試條件的表示方法169
5.2.4選擇最佳劃分的度量171
5.2.5決策樹歸納算法175
5.2.6樹剪枝176
5.2.7決策樹歸納的特點(diǎn)178
5.3貝葉斯分類算法180
5.3.1貝葉斯定理181
5.3.2樸素貝葉斯分類182
5.3.3貝葉斯信念網(wǎng)絡(luò)184
5.4支持向量機(jī)算法185
5.4.1數(shù)據(jù)線性可分的情況185
5.4.2數(shù)據(jù)非線性可分的情況189
5.5粗糙集分類算法190
5.6分類器評估方法191
5.6.1評估分類器性能的度量192
5.6.2保持方法和隨機(jī)二次抽樣195
5.6.3交叉驗(yàn)證195
5.6.4自助法195
5.6.5使用統(tǒng)計(jì)顯著性檢驗(yàn)選擇模型196
5.7組合分類器技術(shù)197
5.7.1組合分類方法簡介198
5.7.2裝袋198
5.7.3提升和AdaBoost199
5.7.4隨機(jī)森林200
5.7.5提高類不平衡數(shù)據(jù)的分類準(zhǔn)確率200
5.8惰性學(xué)習(xí)法（k最近鄰分類）201
5.9基于Python平臺的案例分析203
5.9.1數(shù)據(jù)集準(zhǔn)備203
5.9.2算法描述204
5.9.3算法測試206
5.10小結(jié)209
5.11習(xí)題209
5.12參考文獻(xiàn)211第6章數(shù)據(jù)聚類分析214
6.1基本概念和術(shù)語214
6.1.1聚類分析簡介215
6.1.2對聚類的基本要求215
6.1.3聚類分析方法216
6.2基于劃分的方法218
6.2.1kmeans算法218
6.2.2k中心點(diǎn)算法221
6.3基于層次的方法224
6.3.1凝聚的與分裂的層次聚類224
6.3.2簇間距離度量225
6.4基于密度的方法229
6.4.1傳統(tǒng)的密度：基于中心的方法230
6.4.2DBSCAN算法231
6.5基于概率模型的聚類方法233
6.5.1模糊聚類233
6.5.2基于概率模型的聚類235
6.5.3期望最大化算法237
6.6聚類評估239
6.6.1聚類趨勢的估計(jì)239
6.6.2聚類簇?cái)?shù)的確定241
6.6.3聚類質(zhì)量的測定242
6.7基于Python平臺的案例分析245
6.7.1數(shù)據(jù)準(zhǔn)備245
6.7.2聚類分析結(jié)果探討246
6.8小結(jié)248
6.9習(xí)題249
6.10參考文獻(xiàn)253第7章深度學(xué)習(xí)255
7.1引言255
7.1.1發(fā)展背景255
7.1.2基本概念256
7.2深信網(wǎng)257
7.2.1玻爾茲曼機(jī)258
7.2.2受限玻爾茲曼機(jī)258
7.2.3深信網(wǎng)260
7.3深玻爾茲曼機(jī)264
7.4棧式自動編碼器266
7.4.1自動編碼器266
7.4.2棧式自動編碼器267
7.5卷積神經(jīng)網(wǎng)絡(luò)269
7.5.1卷積269
7.5.2池化270
7.5.3CNN訓(xùn)練過程272
7.5.4CNN網(wǎng)絡(luò)構(gòu)造的案例分析276
7.6深度學(xué)習(xí)開源框架278
7.6.1開源框架簡介278
7.6.2開源案例分析278
7.7深度學(xué)習(xí)應(yīng)用技巧284
7.8小結(jié)285
7.9習(xí)題286
7.10參考文獻(xiàn)286第8章R語言288
8.1下載和安裝R語言288
8.1.1下載R語言288
8.1.2安裝R語言288
8.2使用R語言292
8.2.1運(yùn)行R語言292
8.2.2R語言常用操作294
8.2.3包的使用298
8.3R語言的數(shù)據(jù)結(jié)構(gòu)300
8.3.1向量300
8.3.2矩陣301
8.3.3數(shù)組302
8.3.4因子303
8.3.5列表304
8.3.6數(shù)據(jù)框305
8.4R語言的編程結(jié)構(gòu)306
8.4.1條件語句306
8.4.2循環(huán)語句308
8.5R語言的數(shù)據(jù)挖掘和圖形繪制包310
8.6實(shí)際案例312
8.7小結(jié)314
8.8習(xí)題314
8.9參考文獻(xiàn)315第9章Hadoop大數(shù)據(jù)分布式處理生態(tài)系統(tǒng)316
9.1Hadoop集群基礎(chǔ)316
9.1.1Hadoop安裝317
9.1.2Hadoop配置319
9.2HDFS基礎(chǔ)操作324
9.3MapReduce并行計(jì)算框架331
9.3.1MapReduce程序?qū)嵗篧ordCount332
9.3.2HadoopStreaming333
9.4基于Storm的分布式實(shí)時(shí)計(jì)算334
9.4.1Storm簡介334
9.4.2Storm基本概念334
9.4.3Storm編程338
9.5基于SparkStreaming的分布式實(shí)時(shí)計(jì)算346
9.5.1Spark內(nèi)存計(jì)算框架346
9.5.2SparkStreaming簡介347
9.5.3SparkStreaming編程349
9.6小結(jié)352
9.7參考文獻(xiàn)353第10章大數(shù)據(jù)分析算法的并行化355
10.1并行算法設(shè)計(jì)基礎(chǔ)355
10.1.1并行算法概念355
10.1.2并行計(jì)算模型356
10.1.3并行算法設(shè)計(jì)的策略和技術(shù)360
10.2典型數(shù)據(jù)挖掘算法并行化案例362
10.2.1MRkmeans算法分析362
10.2.2Mahout聚類算法案例364
10.2.3SparkMLlib聚類算法案例369
10.3大數(shù)據(jù)分析應(yīng)用案例371
10.3.1搜索引擎日志數(shù)據(jù)分析371
10.3.2出租車軌跡數(shù)據(jù)分析374
10.3.3新聞組數(shù)據(jù)分析377
10.4小結(jié)383
10.5習(xí)題383
10.6參考文獻(xiàn)384第11章大數(shù)據(jù)挖掘及應(yīng)用展望385
11.1大數(shù)據(jù)時(shí)代的發(fā)展回顧與展望385
11.1.1大數(shù)據(jù)發(fā)展回顧385
11.1.2從“小”到“大”的數(shù)據(jù)分析處理387
11.1.3大數(shù)據(jù)的智能分析與挖掘389
11.2大數(shù)據(jù)中的新數(shù)據(jù)類型391
11.3大數(shù)據(jù)挖掘的新方法394
11.3.1深度學(xué)習(xí)394
11.3.2知識計(jì)算395
11.3.3社會計(jì)算396
11.3.4特異群組挖掘397
11.4未來發(fā)展趨勢398
11.5小結(jié)399
11.6參考文獻(xiàn)399