量化投資：MATLAB數(shù)據(jù)挖掘技術(shù)與實踐（第2版）

第1篇 基礎(chǔ)篇
第1章 緒論 2
1．1 量化投資與數(shù)據(jù)挖掘的關(guān)系 2
1．1．1 什么是量化投資 2
1．1．2 量化投資的特點 3
1．1．3 量化投資的核心――量化模型 4
1．1．4 量化模型的主要產(chǎn)生方法――數(shù)據(jù)
挖掘 6
1．2 數(shù)據(jù)挖掘的概念和原理 7
1．2．1 什么是數(shù)據(jù)挖掘 7
1．2．2 數(shù)據(jù)挖掘的原理 8
1．3 數(shù)據(jù)挖掘在量化投資中的應(yīng)用 9
1．3．1 宏觀經(jīng)濟分析 9
1．3．2 估價 11
1．3．3 量化選股 11
1．3．4 量化擇時 11
1．3．5 算法交易 12
1．4 本章小結(jié) 13
參考文獻(xiàn) 13
第2章 數(shù)據(jù)挖掘的內(nèi)容、過程及
工具 14
2．1 數(shù)據(jù)挖掘的內(nèi)容 14
2．1．1 關(guān)聯(lián) 14
2．1．2 回歸 15
2．1．3 分類 16
2．1．4 聚類 17
2．1．5 預(yù)測 18
2．1．6 診斷 19
2．2 數(shù)據(jù)挖掘的過程 20
2．2．1 數(shù)據(jù)挖掘過程的概述 20
2．2．2 目標(biāo)的定義 20
2．2．3 數(shù)據(jù)的準(zhǔn)備 21
2．2．4 數(shù)據(jù)的探索 22
2．2．5 模型的建立 24
2．2．6 模型的評估 27
2．2．7 模型的部署 28
2．3 數(shù)據(jù)挖掘工具 29
2．3．1 MATLAB 29
2．3．2 SAS 30
2．3．3 SPSS 31
2．3．4 WEKA 32
2．3．5 R 33
2．3．6 工具的比較與選擇 34
2．4 本章小結(jié) 35
參考文獻(xiàn) 35
第3章 MATLAB快速入門及
實用技巧 36
3．1 MATLAB快速入門 36
3．1．1 MATLAB概要 36
3．1．2 MATLAB的功能 37
3．1．3 快速入門案例 38
3．1．4 入門后的提高 45
3．2 MATLAB常用技巧 45
3．2．1 常用標(biāo)點的功能 45
3．2．2 常用操作指令 45
3．2．3 指令編輯操作鍵 46
3．2．4 MATLAB中的數(shù)據(jù)類型 46
3．3 MATLAB的開發(fā)模式 47
3．3．1 命令行模式 47
3．3．2 腳本模式 47
3．3．3 面向?qū)ο竽Ｊ?47
3．3．4 三種模式的配合 48
3．4 本章小結(jié) 48
第2篇 技術(shù)篇
第4章 數(shù)據(jù)的準(zhǔn)備 51
4．1 數(shù)據(jù)的收集 51
4．1．1 認(rèn)識數(shù)據(jù) 51
4．1．2 數(shù)據(jù)挖掘的數(shù)據(jù)源 52
4．1．3 數(shù)據(jù)抽樣 53
4．1．4 量化投資的數(shù)據(jù)源 54
4．1．5 從雅虎獲取交易數(shù)據(jù) 56
4．1．6 從大智慧獲取公司財務(wù)數(shù)據(jù) 58
4．1．7 從Wind中獲取高質(zhì)量數(shù)據(jù) 59
4．2 數(shù)據(jù)質(zhì)量分析 61
4．2．1 數(shù)據(jù)質(zhì)量分析的必要性 61
4．2．2 數(shù)據(jù)質(zhì)量分析的目的 61
4．2．3 數(shù)據(jù)質(zhì)量分析的內(nèi)容 61
4．2．4 數(shù)據(jù)質(zhì)量分析的方法 62
4．2．5 數(shù)據(jù)質(zhì)量分析的結(jié)果及應(yīng)用 66
4．3 數(shù)據(jù)預(yù)處理 66
4．3．1 為什么需要數(shù)據(jù)預(yù)處理 66
4．3．2 數(shù)據(jù)預(yù)處理的主要任務(wù) 67
4．3．3 數(shù)據(jù)清洗 68
4．3．4 數(shù)據(jù)集成 71
4．3．5 數(shù)據(jù)歸約 72
4．3．6 數(shù)據(jù)變換 73
4．4 本章小結(jié) 74
參考文獻(xiàn) 75
第5章 數(shù)據(jù)的探索 76
5．1 衍生變量 77
5．1．1 衍生變量的定義 77
5．1．2 變量衍生的原則和方法 77
5．1．3 常用的股票衍生變量 78
5．1．4 評價型衍生變量 82
5．1．5 衍生變量數(shù)據(jù)的收集與集成 83
5．2 數(shù)據(jù)的統(tǒng)計 84
5．2．1 基本描述性統(tǒng)計 85
5．2．2 分布描述性統(tǒng)計 86
5．3 數(shù)據(jù)可視化 86
5．3．1 基本可視化方法 86
5．3．2 數(shù)據(jù)分布形狀可視化 87
5．3．3 數(shù)據(jù)關(guān)聯(lián)情況可視化 89
5．3．4 數(shù)據(jù)分組可視化 90
5．4 樣本選擇 91
5．4．1 樣本選擇的方法 91
5．4．2 樣本選擇應(yīng)用實例 91
5．5 數(shù)據(jù)降維 93
5．5．1 主成分分析（PCA）的基本原理 93
5．5．2 PCA應(yīng)用實例：企業(yè)綜合實力
排序 96
5．5．3 相關(guān)系數(shù)降維 98
5．6 本章小結(jié) 99
第6章 關(guān)聯(lián)規(guī)則方法 101
6．1 關(guān)聯(lián)規(guī)則概要 101
6．1．1 關(guān)聯(lián)規(guī)則的提出背景 101
6．1．2 關(guān)聯(lián)規(guī)則的基本概念 102
6．1．3 關(guān)聯(lián)規(guī)則的分類 103
6．1．4 關(guān)聯(lián)規(guī)則挖掘常用算法 104
6．2 Apriori算法 104
6．2．1 Apriori算法的基本思想 104
6．2．2 Apriori算法的步驟 105
6．2．3 Apriori算法的實例 105
6．2．4 Apriori算法的程序?qū)崿F(xiàn) 107
6．2．5 Apriori算法的優(yōu)缺點 110
6．3 FP-Growth算法 110
6．3．1 FP-Growth算法的步驟 110
6．3．2 FP-Growth算法的實例 111
6．3．3 FP-Growth算法的優(yōu)缺點 113
6．4 應(yīng)用實例：行業(yè)關(guān)聯(lián)選股法 113
6．5 本章小結(jié) 114
參考文獻(xiàn) 115
第7章 數(shù)據(jù)回歸方法 116
7．1 一元回歸 117
7．1．1 一元線性回歸 117
7．1．2 一元非線性回歸 120
7．1．3 一元多項式回歸 124
7．2 多元回歸 125
7．2．1 多元線性回歸 125
7．2．2 多元多項式回歸 127
7．3 逐步回歸 130
7．3．1 逐步回歸的基本思想 130
7．3．2 逐步回歸的步驟 131
7．3．3 逐步回歸的MATLAB方法 131
7．4 邏輯斯蒂回歸 133
7．4．1 邏輯斯蒂回歸模型 133
7．4．2 邏輯斯蒂回歸實例 134
7．5 應(yīng)用實例：多因子選股模型的
實現(xiàn) 136
7．5．1 多因子模型的基本思想 136
7．5．2 多因子選股模型的實現(xiàn) 137
7．6 本章小結(jié) 140
第8章 分類方法 141
8．1 分類方法概要 141
8．1．1 分類的概念 141
8．1．2 分類的原理 142
8．1．3 常用的分類方法 143
8．2 K-近鄰分類 143
8．2．1 K-近鄰分類的原理 143
8．2．2 K-近鄰分類的實例 145
8．2．3 K-近鄰分類的特點 147
8．3 貝葉斯分類 147
8．3．1 貝葉斯分類的原理 147
8．3．2 樸素貝葉斯分類的原理 148
8．3．3 樸素貝葉斯分類的實例 150
8．3．4 樸素貝葉斯分類的特點 150
8．4 神經(jīng)網(wǎng)絡(luò) 151
8．4．1 神經(jīng)網(wǎng)絡(luò)的原理 151
8．4．2 神經(jīng)網(wǎng)絡(luò)的實例 153
8．4．3 神經(jīng)網(wǎng)絡(luò)的特點 153
8．5 邏輯斯蒂分類 154
8．5．1 邏輯斯蒂分類的原理 154
8．5．2 邏輯斯蒂分類的實例 154
8．5．3 邏輯斯蒂分類的特點 154
8．6 判別分析 155
8．6．1 判別分析的原理 155
8．6．2 判別分析的實例 156
8．6．3 判別分析的特點 156
8．7 支持向量機（SVM） 156
8．7．1 SVM的基本思想 157
8．7．2 SVM的理論基礎(chǔ) 157
8．7．3 SVM的實例 159
8．7．4 SVM的特點 160
8．8 決策樹 160
8．8．1 決策樹的基本概念 160
8．8．2 決策樹建構(gòu)的步驟 161
8．8．3 決策樹的實例 164
8．8．4 決策樹的特點 164
8．9 分類的評判 165
8．9．1 正確率 165
8．9．2 ROC曲線 166
8．10 應(yīng)用實例：分類選股法 168
8．10．1 實例背景 168
8．10．2 實現(xiàn)方法 169
8．11 延伸閱讀：其他分類方法 171
8．12 本章小結(jié) 172
第9章 聚類方法 173
9．1 聚類方法概要 173
9．1．1 聚類的概念 173
9．1．2 類的度量方法 175
9．1．3 聚類方法的應(yīng)用場景 176
9．1．4 聚類方法的分類 177
9．2 K-means聚類 177
9．2．1 K-means算法的原理和步驟 177
9．2．2 K-means聚類實例1：自主編程 178
9．2．3 K-means聚類實例2：集成函數(shù) 180
9．2．4 K-means算法的特點 183
9．3 層次聚類 183
9．3．1 層次聚類的原理和步驟 183
9．3．2 層次聚類的實例 185
9．3．3 層次聚類的特點 187
9．4 神經(jīng)網(wǎng)絡(luò)聚類 187
9．4．1 神經(jīng)網(wǎng)絡(luò)聚類的原理和步驟 187
9．4．2 神經(jīng)網(wǎng)絡(luò)聚類的實例 187
9．4．3 神經(jīng)網(wǎng)絡(luò)聚類的特點 188
9．5 模糊C均值（FCM）方法 188
9．5．1 模糊C均值的原理和步驟 188
9．5．2 模糊C均值方法的應(yīng)用實例 189
9．5．3 模糊C均值算法的特點 190
9．6 高斯混合聚類方法 190
9．6．1 高斯混合聚類的原理和步驟 190
9．6．2 高斯聚類的實例 192
9．6．3 高斯聚類的特點 193
9．7 類別數(shù)的確定方法及實例 193
9．7．1 類別數(shù)的確定方法 193
9．7．2 類別數(shù)的確定實例 194
9．8 應(yīng)用實例：股票聚類分池 196
9．8．1 聚類的目標(biāo)和數(shù)據(jù)描述 196
9．8．2 實現(xiàn)過程 196
9．8．3 結(jié)果及分析 198
9．9 延伸閱讀 199
9．9．1 目前聚類分析研究的主要內(nèi)容 199
9．9．2 SOM智能聚類算法 200
9．10 本章小結(jié) 201
參考文獻(xiàn) 201
第10章 預(yù)測方法 202
10．1 預(yù)測方法概要 202
10．1．1 預(yù)測的概念 202
10．1．2 預(yù)測的基本原理 202
10．1．3 量化投資中預(yù)測的主要內(nèi)容 203
10．1．4 預(yù)測的準(zhǔn)確度評價及影響因素 204
10．1．5 常用的預(yù)測方法 205
10．2 灰色預(yù)測 206
10．2．1 灰色預(yù)測的原理 206
10．2．2 灰色預(yù)測的實例 208
10．3 馬爾可夫預(yù)測 209
10．3．1 馬爾可夫預(yù)測的原理 209
10．3．2 馬爾可夫過程的特性 210
10．3．3 馬爾可夫預(yù)測的實例 211
10．4 應(yīng)用實例：大盤走勢預(yù)測 214
10．4．1 數(shù)據(jù)的選取及模型的建立 214
10．4．2 預(yù)測過程 216
10．4．3 預(yù)測結(jié)果與分析 216
10．5 本章小結(jié) 217
參考文獻(xiàn) 218
第11章 診斷方法 219
11．1 離群點診斷概要 219
11．1．1 離群點診斷的定義 219
11．1．2 離群點診斷的作用 220
11．1．3 離群點診斷方法的分類 221
11．2 基于統(tǒng)計的離群點診斷 221
11．2．1 理論基礎(chǔ) 221
11．2．2 應(yīng)用實例 223
11．2．3 優(yōu)點與缺點 224
11．3 基于距離的離群點診斷 225
11．3．1 理論基礎(chǔ) 225
11．3．2 應(yīng)用實例 226
11．3．3 優(yōu)點與缺點 227
11．4 基于密度的離群點診斷 227
11．4．1 理論基礎(chǔ) 227
11．4．2 應(yīng)用實例 228
11．4．3 優(yōu)點與缺點 229
11．5 基于聚類的離群點診斷 230
11．5．1 理論基礎(chǔ) 230
11．5．2 應(yīng)用實例 230
11．5．3 優(yōu)點與缺點 232
11．6 應(yīng)用實例：離群點診斷量化
擇時 232
11．7 延伸閱讀：新興的離群點挖掘診斷
方法 233
11．7．1 基于關(guān)聯(lián)的離群點挖掘 233
11．7．2 基于粗糙集的離群點挖掘 234
11．7．3 基于人工神經(jīng)網(wǎng)絡(luò)的離群點挖掘 234
11．8 本章小結(jié) 235
參考文獻(xiàn) 235
第12章 時間序列方法 236
12．1 時間序列的基本概念 236
12．1．1 時間序列的定義 236
12．1．2 時間序列的組成因素 237
12．1．3 時間序列的分類 238
12．1．4 時間序列分析方法 238
12．2 平穩(wěn)時間序列分析方法 239
12．2．1 移動平均法 239
12．2．2 指數(shù)平滑法 240
12．3 季節(jié)指數(shù)預(yù)測法 240
12．3．1 季節(jié)性水平模型 240
12．3．2 季節(jié)性趨勢模型 241
12．4 時間序列模型 242
12．4．1 ARMA模型 242
12．4．2 ARIMA模型 242
12．4．3 ARCH模型 243
12．4．4 GARCH模型 243
12．5 應(yīng)用實例：基于時間序列的股票
預(yù)測 244
12．6 本章小結(jié) 247
參考文獻(xiàn) 247
第13章 智能優(yōu)化方法 248
13．1 智能優(yōu)化方法概要 248
13．1．1 智能優(yōu)化方法的概念 248
13．1．2 智能優(yōu)化方法在量化投資領(lǐng)域的
作用 249
13．1．3 常用的智能優(yōu)化方法 249
13．2 遺傳算法 250
13．2．1 遺傳算法的原理 250
13．2．2 遺傳算法的步驟 251
13．2．3 遺傳算法的實例 257
13．2．4 遺傳算法的特點 258
13．3 模擬退火算法 259
13．3．1 模擬退火算法的原理 259
13．3．2 模擬退火算法的步驟 260
13．3．3 模擬退火算法的實例 262
13．3．4 模擬退火算法的特點 267
13．4 應(yīng)用實例：組合投資優(yōu)化 268
13．4．1 問題描述 268
13．4．2 求解過程 268
13．5 延伸閱讀：其他智能方法 269
13．5．1 粒子群算法 269
13．5．2 蟻群算法 271
13．6 本章小結(jié) 272
參考文獻(xiàn) 272
第3篇 實踐篇
第14章 統(tǒng)計套利策略的挖掘與
優(yōu)化 274
14．1 統(tǒng)計套利策略概述 274
14．1．1 統(tǒng)計套利的定義 274
14．1．2 統(tǒng)計套利策略的基本思想 274
14．1．3 統(tǒng)計套利策略挖掘的方法 275
14．2 基本策略的挖掘 276
14．2．1 準(zhǔn)備數(shù)據(jù) 276
14．2．2 探索交易策略 276
14．2．3 驗證交易策略 277
14．2．4 選擇最佳的參數(shù) 278
14．2．5 參數(shù)掃描方法 279
14．2．6 考慮交易費 281
14．3 高頻交易策略及優(yōu)化 282
14．3．1 高頻交易的基本思想 282
14．3．2 高頻交易的實現(xiàn) 284
14．4 多交易信號策略的組合及優(yōu)化 286
14．4．1 多交易信號策略 286
14．4．2 交易信號的組合優(yōu)化機理 287
14．4．3 交易信號的組合優(yōu)化實現(xiàn) 288
14．5 本章小結(jié) 290
參考文獻(xiàn) 291
第15章 配對交易策略的挖掘與
實現(xiàn) 292
15．1 配對交易概述 292
15．1．1 配對交易的定義 292
15．1．2 配對交易的特點 293
15．1．3 配對選取步驟 293
15．2 協(xié)整檢驗的理論基礎(chǔ) 294
15．2．1 協(xié)整關(guān)系的定義 294
15．2．2 EG兩步協(xié)整檢驗法 295
15．2．3 Johansen協(xié)整檢驗法 295
15．3 配對交易的實現(xiàn) 296
15．3．1 協(xié)整檢驗的實現(xiàn) 296
15．3．2 配對交易函數(shù) 297
15．3．3 協(xié)整配對中的參數(shù)優(yōu)化 300
15．4 延伸閱讀：配對交易的三要素 301
15．4．1 配對交易的前提 301
15．4．2 配對交易的關(guān)鍵 301
15．4．3 配對交易的假設(shè) 301
15．5 本章小結(jié) 302
參考文獻(xiàn) 302
第16章 基于Wind數(shù)據(jù)的程序化
交易 303
16．1 程序化交易概述 303
16．1．1 程序化交易的定義 303
16．1．2 程序化交易的實現(xiàn)過程 304
16．1．3 程序化交易的分類 305
16．2 數(shù)據(jù)的處理及探索 306
16．2．1 獲取股票日交易數(shù)據(jù) 306
16．2．2 計算指標(biāo) 309
16．2．3 數(shù)據(jù)標(biāo)準(zhǔn)化 315
16．2．4 變量篩選 316
16．3 模型的建立及評估 318
16．3．1 股票預(yù)測的基本思想 318
16．3．2 模型的訓(xùn)練及評價 318
16．4 組合投資的優(yōu)化 321
16．4．1 組合投資的理論基礎(chǔ) 321
16．4．2 組合投資的實現(xiàn) 323
16．5 程序化交易的實施 327
16．6 本章小結(jié) 327
參考文獻(xiàn) 328
第17章 基于Quantrader平臺的
量化投資 329
17．1 量化平臺概述 329
17．1．1 量化平臺現(xiàn)狀 329
17．1．2 Quantrader平臺的構(gòu)成 330
17．1．3 Quantrader的工作流程 331
17．2 基于Quantrader平臺的量化實現(xiàn)
過程 331
17．2．1 獲取交易數(shù)據(jù) 331
17．2．2 計算衍生變量 333
17．2．3 數(shù)據(jù)標(biāo)準(zhǔn)化 333
17．2．4 變量優(yōu)選 333
17．2．5 訓(xùn)練模型 334
17．2．6 策略回測 334
17．3 延伸閱讀：Quantrader平臺的
拓展 335
第18章 趨勢跟蹤策略及實現(xiàn)過程 338
18．1 趨勢跟蹤策略簡介 338
18．2 趨勢跟蹤策略的基本設(shè)定 339
18．2．1 策略準(zhǔn)則的設(shè)定 339
18．2．2 策略主要參數(shù)的設(shè)定 340
18．2．3 有效突破的設(shè)定 340
18．3 均線-收盤價策略的實現(xiàn)過程 340
18．3．1 均線-收盤價策略的MATLAB
實現(xiàn) 341
18．3．2 參數(shù)討論 343
18．4 雙均線策略 343
18．4．1 雙均線策略的MATLAB實現(xiàn) 343
18．4．2 參數(shù)討論 345
18．5 上升支撐線策略 346
18．5．1 上升支撐線策略的MATLAB
實現(xiàn) 347
18．5．2 參數(shù)討論 349
18．6 下跌壓力線策略 349
18．6．1 下跌壓力線策略的MATLAB
實現(xiàn) 349
18．6．2 參數(shù)討論 351
18．7 本章小結(jié) 352
第19章 基于數(shù)據(jù)挖掘技術(shù)的量化交易
系統(tǒng) 353
19．1 交易系統(tǒng)概述 353
19．1．1 交易系統(tǒng)的定義 353
19．1．2 交易系統(tǒng)的作用 354
19．2 DM交易系統(tǒng)總體設(shè)計 355
19．2．1 系統(tǒng)目標(biāo) 355
19．2．2 相關(guān)約定 355
19．2．3 系統(tǒng)結(jié)構(gòu) 355
19．3 短期交易子系統(tǒng) 356
19．3．1 子系統(tǒng)功能描述 356
19．3．2 數(shù)據(jù)預(yù)處理模塊 356
19．3．3 量化選股模塊 356
19．3．4 策略回測模塊 357
19．4 中長期交易子系統(tǒng) 357
19．4．1 子系統(tǒng)功能描述 357
19．4．2 導(dǎo)入數(shù)據(jù)模塊 357
19．4．3 投資組合優(yōu)化模塊 358
19．5 系統(tǒng)的拓展與展望 359
19．6 本章小結(jié) 360