機器學(xué)習(xí)與深度學(xué)習(xí)算法基礎(chǔ)

第一篇 經(jīng)典機器學(xué)習(xí)模型

第1章 引言：從線性回歸說起 2
1.1 什么是機器學(xué)習(xí) 3
1.1.1 傳統(tǒng)算法與機器學(xué)習(xí)算法 4
1.1.2 線性回歸 9
1.2 過擬合與正則化 10
1.2.1 樣本量與過擬合 10
1.2.2 正則化方法 12
1.3 嶺回歸和lasso回歸 14
1.3.1 嶺回歸 14
1.3.2 lasso回歸 17
1.3.3 l1正則化和l2正則化 17
1.4 本章小結(jié)與代碼實現(xiàn) 21
1.5 本章話題：機器學(xué)習(xí)的
一般原理 25
第2章 陰陽剖分：支持向量機模型 30
2.1 支持向量機模型的基本思路 30
2.1.1 支持向量機模型的
基本思路 31
2.1.2 支持向量機算法的
基本流程 34
2.2 數(shù)學(xué)形式與求解方法 34
2.2.1 數(shù)學(xué)知識補充 35
2.2.2 數(shù)學(xué)模型與理論推導(dǎo) 36
2.3 核方法與維度問題 38
2.3.1 核方法的含義 39
2.3.2 核函數(shù)SVM 39
2.4 軟間隔支持向量機 41
2.4.1 軟間隔的含義 41
2.4.2 軟間隔SVM的損失
函數(shù) 42
2.5 本章小結(jié)與代碼實現(xiàn) 44
2.6 本章話題：高維度，是災(zāi)難
還是契機？ 46
第3章 化直為曲：邏輯斯蒂回歸 50
3.1 邏輯斯蒂回歸的基本原理 50
3.1.1 分類問題與回歸問題 51
3.1.2 邏輯斯蒂回歸算法思路 53
3.2 邏輯斯蒂函數(shù) 56
3.2.1 邏輯斯蒂函數(shù)的由來 56
3.2.2 邏輯斯蒂函數(shù)的優(yōu)勢 58
3.3 邏輯斯蒂回歸的數(shù)學(xué)原理 59
3.3.1 邏輯斯蒂回歸的數(shù)學(xué)
形式 59
3.3.2 準(zhǔn)確率和召回率 62
3.4 參數(shù)確定的方法 65
3.4.1 似然函數(shù)簡介 65
3.4.2 邏輯斯蒂回歸的損失
函數(shù) 66
3.5 多項邏輯斯蒂回歸 67
3.5.1 多分類問題的邏輯斯蒂
回歸 67
3.5.2 softmax函數(shù) 68
3.6 本章小結(jié)與代碼實現(xiàn) 69
3.7 本章話題：廣義線性模型 72
第4章 層層拷問：決策樹模型 77
4.1 模型思路與算法流程 78
4.1.1 決策樹的思路——
以讀心術(shù)游戲為例 78
4.1.2 決策樹模型的基本流程 81
4.1.3 決策樹模型的關(guān)鍵問題 87
4.2 特征選擇原則 87
4.2.1 信息增益原則 87
4.2.2 信息增益比原則 89
4.2.3 基尼系數(shù)原則 89
4.3 剪枝策略 90
4.4 常用決策樹模型：ID3與
C4.5算法 92
4.4.1 ID3算法 92
4.4.2 C4.5算法 92
4.5 多變量決策樹簡介 93
4.6 本章小結(jié)與代碼實現(xiàn) 94
4.7 本章話題：信息論與
特征選擇 97
第5章 近朱者赤：k近鄰模型 101
5.1 模型的思路和特點 101
5.1.1 模型思路 101
5.1.2 懶惰學(xué)習(xí)與迫切學(xué)習(xí) 103
5.2 模型的相關(guān)性質(zhì) 105
5.2.1 數(shù)學(xué)形式 105
5.2.2 損失函數(shù)與誤差 108
5.2.3 k近鄰模型的改進(jìn) 109
5.3 距離函數(shù)與參數(shù)選擇 111
5.3.1 距離函數(shù) 111
5.3.2 參數(shù)選擇的影響 114
5.4 本章小結(jié)與代碼實現(xiàn) 115
5.5 本章話題：相似性度量 119
第6章 執(zhí)果索因：樸素貝葉斯
模型 123
6.1 貝葉斯方法的基本概念 123
6.1.1 貝葉斯學(xué)派與頻率
學(xué)派 124
6.1.2 全概率公式與貝葉斯
公式 127
6.2 樸素貝葉斯的原理和方法 133
6.2.1 樸素貝葉斯的“樸素”
假設(shè) 133
6.2.2 拉普拉斯平滑 135
6.3 樸素貝葉斯算法的步驟與
流程 137
6.4 生成式模型與判別式模型 138
6.5 本章小結(jié)與代碼實現(xiàn) 138
6.6 本章話題：貝葉斯思維與
先驗概念 141
第7章 提綱挈領(lǐng)：線性判別分析與
主成分分析 144
7.1 線性降維的基本思路 144
7.2 LDA 146
7.2.1 投影的技巧 146
7.2.2 類內(nèi)距離和類間距離 147
7.2.3 LDA的求解 149
7.3 PCA 151
7.3.1 基變換與特征降維 151
7.3.2 方差最大化與PCA原理
推導(dǎo) 154
7.3.3 PCA的實現(xiàn)步驟 158
7.4 LDA與PCA：區(qū)別與
聯(lián)系 158
7.5 本章小結(jié)與代碼實現(xiàn) 159
7.5.1 LDA實驗：鳶尾花
數(shù)據(jù)集降維分類 159
7.5.2 PCA實驗：手寫數(shù)字
數(shù)據(jù)集降維 161
7.6 本章話題：矩陣的直觀解釋
與應(yīng)用 162
第8章 曲面平鋪：流形學(xué)習(xí) 166
8.1 流形與流形學(xué)習(xí) 166
8.2 Isomap的基本思路與
實現(xiàn)方法 170
8.2.1 測地距離的概念 170
8.2.2 計算測地距離：圖論中的
Floyd算法 172
8.2.3 由距離到坐標(biāo)：多維尺度
變換方法 173
8.3 Isomap算法步驟 175
8.4 LLE的基本思路與
實現(xiàn)方法 175
8.4.1 LLE的基本思想 175
8.4.2 局部線性重構(gòu) 176
8.5 LLE算法步驟 177
8.6 本章小結(jié)與代碼實現(xiàn) 178
8.7 本章話題：黎曼、非歐幾何
與流形感知 180
第9章 物以類聚：聚類算法 185
9.1 無監(jiān)督方法概述 185
9.2 聚類的基本目標(biāo)和評價
標(biāo)準(zhǔn) 187
9.2.1 聚類的基本目標(biāo) 187
9.2.2 聚類的評價標(biāo)準(zhǔn) 188
9.3 基于中心的k-means
算法 191
9.3.1 k-means算法的基本
思路 191
9.3.2 k-means算法步驟 193
9.3.3 k-means算法的局
限性 195
9.4 層次聚類算法 196
9.4.1 層次聚類的基本原理 196
9.4.2 層次聚類的AGNES
算法 199
9.5 密度聚類算法：DBSCAN 200
9.5.1 DBSCAN算法的基本
思路 200
9.5.2 DBSCAN算法步驟 201
9.6 本章小結(jié)與代碼實現(xiàn) 203
9.7 本章話題：Science上的一種
巧妙聚類算法 205
第10章 字典重構(gòu)：稀疏編碼 209
10.1 稀疏編碼的思路 209
10.1.1 神經(jīng)生物學(xué)的發(fā)現(xiàn) 210
10.1.2 過完備性與稀疏性 210
10.2 稀疏編碼的數(shù)學(xué)形式 213
10.3 字典學(xué)習(xí)中的“字典” 215
10.3.1 傳統(tǒng)算法中的
“字典” 215
10.3.2 “字典”學(xué)習(xí)的意義 216
10.4 本章小結(jié)與代碼實現(xiàn) 217
10.5 本章話題：壓縮感知理論
簡介 220
第11章 教學(xué)相長：直推式支持
向量機 223
11.1 半監(jiān)督學(xué)習(xí)簡介 223
11.2 T-SVM模型 227
11.2.1 T-SVM的基本思路 227
11.2.2 T-SVM算法步驟 228
11.3 本章小結(jié)與代碼實現(xiàn) 229
11.4 本章話題：不同樣本集場景
下的問題處理策略 233
第12章 群策群力：集成學(xué)習(xí) 236
12.1 自舉匯聚和提升 236
12.1.1 Bagging算法和Boosting
算法的基本思路 237
12.1.2 Bagging算法和Boosting
算法的區(qū)別與聯(lián)系 240
12.2 Bagging算法的基本
步驟 241
12.3 Boosting算法的基本
步驟 242
12.4 Bagging算法：以隨機
森林算法為例 243
12.4.1 隨機森林算法 243
12.4.2 隨機森林算法中的
隨機性 244
12.5 Boosting算法：以Adaboost
算法為例 244
12.5.1 Adaboost算法的實現(xiàn)
步驟 245
12.5.2 Adaboost算法過程
分析 245
12.6 本章小結(jié)與代碼實現(xiàn) 246
12.7 本章話題：Adaboost算法
中的分步策略 249

第二篇 深度學(xué)習(xí)模型與方法

第13章 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)：從感知機模型到阿爾法狗 254
13.1 感知機模型 256
13.1.1 感知機模型的基本原理
與數(shù)學(xué)形式 256
13.1.2 感知機模型的缺陷與
改進(jìn) 260
13.2 人工神經(jīng)網(wǎng)絡(luò) 262
13.2.1 生物神經(jīng)元與感知機
模型 262
13.2.2 人工神經(jīng)網(wǎng)絡(luò)方法
簡介 264
13.2.3 反向傳播算法 265
13.2.4 神經(jīng)網(wǎng)絡(luò)的優(yōu)勢 267
13.3 需要深度學(xué)習(xí)的原因 268
13.4 神經(jīng)網(wǎng)絡(luò)模型的局限性 268
13.5 常用神經(jīng)網(wǎng)絡(luò)框架簡介 270
13.6 本章話題：人工智能發(fā)展
大事年表 271