大數(shù)據(jù)分析與挖掘

第1章　緒論　1
1．1　大數(shù)據(jù)分析與挖掘簡(jiǎn)介　1
1．2　大數(shù)據(jù)應(yīng)用及挑戰(zhàn)　2
1．3　大數(shù)據(jù)分析與挖掘主要技術(shù)　3
1．4　大數(shù)據(jù)分析與挖掘工具　4
1．4．1　Sklearn　4
1．4．2　Spark ML　5
1．4．3　華為云的機(jī)器學(xué)習(xí)服務(wù)　5
第2章　數(shù)據(jù)特征分析與預(yù)處理　15
2．1　數(shù)據(jù)類(lèi)型　15
2．1．1　數(shù)據(jù)集類(lèi)型　15
2．1．2　數(shù)據(jù)屬性的類(lèi)型　17
2．2　數(shù)據(jù)的描述性特征　20
2．2．1　描述數(shù)據(jù)集中趨勢(shì)的度量　20
2．2．2　描述數(shù)據(jù)離中趨勢(shì)的度量　22
2．2．3　數(shù)據(jù)分布形態(tài)的度量　24
2．2．4　數(shù)據(jù)分布特征的可視化　27
2．3　數(shù)據(jù)的相關(guān)分析　30
2．3．1　相關(guān)分析　31
2．3．2　卡方（χ2）檢驗(yàn)　32
2．4　數(shù)據(jù)預(yù)處理　34
2．4．1　數(shù)據(jù)變換、離散化與編碼　35
2．4．2　數(shù)據(jù)抽樣技術(shù)　40
2．4．3　主成分分析　42
2．4．4　數(shù)據(jù)清洗　49
2．5　Spark數(shù)據(jù)預(yù)處理功能簡(jiǎn)介　52
2．5．1　二值化　52
2．5．2　分箱器　52
2．5．3　哈達(dá)瑪積變換　53
2．5．4　最大絕對(duì)值標(biāo)準(zhǔn)化　53
2．5．5　最小—最大變換　54
2．5．6　正則化　54
2．5．7　多項(xiàng)式擴(kuò)展　55
2．5．8　標(biāo)準(zhǔn)化　55
2．5．9　特征向量合并　56
2．5．10　類(lèi)別特征索引　57
習(xí)題　57
第3章　關(guān)聯(lián)規(guī)則挖掘　59
3．1　基本概念　59
3．2　基于候選項(xiàng)產(chǎn)生—測(cè)試策略的頻繁模式挖掘算法　61
3．2．1　Apriori算法　61
3．2．2　基于劃分的算法　64
3．2．3　事務(wù)數(shù)據(jù)的存儲(chǔ)　65
3．3　不需要產(chǎn)生候選項(xiàng)集的頻繁模式挖掘算法　66
3．3．1　FP-Growth算法　66
3．3．2　Spark上FP-Growth算法實(shí)踐　71
3．4　結(jié)合相關(guān)性分析的關(guān)聯(lián)規(guī)則　72
3．5　多層關(guān)聯(lián)規(guī)則挖掘算法　74
3．6　序列模式挖掘　77
3．6．1　序列模式的定義　77
3．6．2　PrefixSpan算法　78
3．6．3　與其他序列模式挖掘算法的比較和分析　80
3．7　其他類(lèi)型關(guān)聯(lián)規(guī)則簡(jiǎn)介　81
3．7．1　量化關(guān)聯(lián)規(guī)則　82
3．7．2　時(shí)態(tài)關(guān)聯(lián)規(guī)則　82
3．7．3　局部化的關(guān)聯(lián)規(guī)則　82
3．7．4　優(yōu)化的關(guān)聯(lián)規(guī)則　82
習(xí)題　83
第4章　分類(lèi)與回歸算法　85
4．1　決策樹(shù)算法　85
4．1．1　決策樹(shù)簡(jiǎn)介　85
4．1．2　決策樹(shù)的類(lèi)型　86
4．1．3　決策樹(shù)的構(gòu)造過(guò)程　86
4．1．4　信息論的有關(guān)概念　87
4．1．5　ID3算法　87
4．1．6　信息論在ID3算法中的應(yīng)用　90
4．1．7　C4．5算法　91
4．1．8　CART算法　91
4．1．9　過(guò)擬合與決策樹(shù)剪枝　93
4．1．10　決策樹(shù)后剪枝策略　95
4．1．11　決策樹(shù)的生成與可視化　103
4．1．12　幾種屬性選擇度量的對(duì)比　106
4．2　貝葉斯分類(lèi)器　106
4．2．1　貝葉斯決策理論　106
4．2．2　極大似然估計(jì)　107
4．2．3　樸素貝葉斯分類(lèi)器　108
4．2．4　貝葉斯網(wǎng)絡(luò)基礎(chǔ)　110
4．2．5　通過(guò)貝葉斯網(wǎng)絡(luò)判斷條件獨(dú)立　111
4．2．6　貝葉斯網(wǎng)絡(luò)推理實(shí)例　112
4．3　基于實(shí)例的分類(lèi)算法　115
4．3．1　KNN分類(lèi)器　115
4．3．2　局部加權(quán)回歸　121
4．3．3　基于案例的推理　123
4．4　組合分類(lèi)算法　130
4．4．1　Adaboost算法　130
4．4．2　Bagging算法　135
4．4．3　隨機(jī)森林　140
4．5　分類(lèi)器算法的評(píng)估　142
4．6　回歸分析　146
4．6．1　線性回歸　146
4．6．2　嶺回歸　149
4．6．3　多項(xiàng)式回歸　149
4．6．4　邏輯回歸　151
4．6．5　決策樹(shù)回歸　152
4．6．6　梯度提升決策樹(shù)　155
習(xí)題　160
第5章　聚類(lèi)算法　165
5．1　聚類(lèi)分析概述　165
5．2　聚類(lèi)算法的分類(lèi)　166
5．3　距離度量　166
5．3．1　冪距離　166
5．3．2　歐式距離　167
5．3．3　曼哈頓距離　167
5．3．4　切比雪夫距離　168
5．3．5　余弦相似度　168
5．3．6　蘭氏距離　169
5．3．7　馬氏距離　169
5．3．8　斜交空間距離　170
5．3．9　杰卡德距離　170
5．3．10　漢明距離　171
5．4　基于劃分的聚類(lèi)算法　172
5．4．1　K均值算法　172
5．4．2　二分K均值聚類(lèi)算法　174
5．4．3　小批量K均值算法　175
5．4．4　K均值++算法　179
5．4．5　K中心點(diǎn)算法　180
5．4．6　數(shù)據(jù)流K均值算法　181
5．5　基于密度的聚類(lèi)算法　182
5．5．1　DBSCAN算法　182
5．5．2　OPTICS算法　185
5．6　基于模型的聚類(lèi)算法：高斯混合模型算法　189
5．6．1　算法原理　189
5．6．2　GMM算法的參數(shù)估計(jì)　190
5．6．3　GMM算法實(shí)踐　191
5．7　層次聚類(lèi)　193
5．7．1　凝聚的層次聚類(lèi)算法　193
5．7．2　聚類(lèi)之間距離的度量方法　193
5．7．3　層次聚類(lèi)算法的性質(zhì)　204
5．7．4　BIRCH算法　207
5．8　基于網(wǎng)格的聚類(lèi)算法　211
5．8．1　STING算法　211
5．8．2　CLIQUE算法　213
5．9　Mean Shift聚類(lèi)算法　218
5．9．1　基本概念　218
5．9．2　Mean Shift算法聚類(lèi)過(guò)程　219
5．9．3　Mean Shift聚類(lèi)算法實(shí)踐　222
5．9．4　改進(jìn)的Mean Shift算法　223
5．10　聚類(lèi)算法評(píng)價(jià)指標(biāo)　224
5．10．1　調(diào)整蘭德指數(shù)　224
5．10．2　互信息評(píng)分　225
5．10．3　同質(zhì)性、完整性以及調(diào)和平均　226
5．10．4　Fowlkes-Mallows評(píng)分　228
5．10．5　輪廓系數(shù)　229
5．10．6　Calinski-Harabz 指數(shù)　229
習(xí)題　230
第6章　數(shù)據(jù)挖掘綜合應(yīng)用：異常檢測(cè)　232
6．1　預(yù)備知識(shí)　232
6．1．1　相關(guān)統(tǒng)計(jì)學(xué)概念　232
6．1．2　異常檢測(cè)評(píng)價(jià)指標(biāo)　234
6．1．3　異常檢測(cè)問(wèn)題的特點(diǎn)　234
6．1．4　異常檢測(cè)算法分類(lèi)　234
6．2　基于隔離森林的異常檢測(cè)算法　235
6．2．1　隔離與隔離樹(shù)iTree　236
6．2．2　隔離森林的特點(diǎn)　238
6．2．3　隔離森林算法　239
6．2．4　應(yīng)用實(shí)例　240
6．3　局部異常因子算法　242
6．3．1　基本定義　242
6．3．2　異常檢測(cè)　243
6．3．3　應(yīng)用實(shí)例　244
6．4　基于One-Class SVM的異常檢測(cè)算法　245
6．4．1　基本原理　245
6．4．2　應(yīng)用實(shí)例　246
6．5　基于主成分分析的異常檢測(cè)算法　247
6．6　基于集成學(xué)習(xí)的異常檢測(cè)算法　249
6．6．1　基本原理　249
6．6．2　應(yīng)用實(shí)例　250
6．7　其他有監(jiān)督學(xué)習(xí)類(lèi)型的檢測(cè)算法　253
6．7．1　罕見(jiàn)類(lèi)別檢測(cè)　254
6．7．2　基于有監(jiān)督學(xué)習(xí)的異常檢測(cè)實(shí)例　256
6．7．3　異常檢測(cè)應(yīng)用實(shí)例——時(shí)空異常檢測(cè)　257
6．7．4　Spark異常值檢測(cè)實(shí)例　259
6．8　習(xí)題　261
附錄　《大數(shù)據(jù)分析與挖掘》配套實(shí)驗(yàn)課程方案簡(jiǎn)介　263
參考文獻(xiàn)　264