矩陣之美：算法篇

目錄
前言
第1章 *小二乘法 1
1.1 問題背景 1
1.2 線性方程組的兩個圖像 2
1.2.1 線性方程組的行空間圖像 3
1.2.2 線性方程組的列空間圖像 5
1.3 線性方程組的*小二乘解 6
1.3.1 *小二乘法的行空間方法 6
1.3.2 *小二乘法的列空間方法 7
1.3.3 直線擬合 8
1.4 *小二乘法的幾何解釋 10
1.5 *小二乘法的概率解釋 12
1.6 *小二乘法在應(yīng)用中的問題 15
1.6.1 變量問題 15
1.6.2 約束問題 19
1.6.3 病態(tài)問題 21
1.6.4 異常問題 22
1.6.5 目標(biāo)函數(shù)問題 24
1.7 小結(jié) 25
第2章 主成分分析 27
2.1 問題背景 27
2.2 基本統(tǒng)計概念 29
2.2.1 隨機變量的數(shù)字特征 29
2.2.2 樣本統(tǒng)計量 31
2.2.3 樣本統(tǒng)計量的向量表示 33
2.3 主成分分析的基本原理 36
2.3.1 任意方向的方差 36
2.3.2 模型與求解 37
2.4 主成分分析的幾何解釋 41
2.5 主成分分析的子空間逼近解釋 47
2.6 主成分分析的概率解釋 50
2.7 主成分分析的信息論解釋 51
2.8 主成分分析在應(yīng)用中的問題 52
2.8.1 非高斯問題 52
2.8.2 量綱問題 53
2.8.3 維數(shù)問題 54
2.8.4 噪聲問題 55
2.9 小結(jié) 55
第3章 主偏度分析 56
3.1 問題背景 56
3.2 基本概念 57
3.2.1 偏度的定義 57
3.2.2 數(shù)據(jù)白化 58
3.2.3 張量基本運算 59
3.2.4 統(tǒng)計量映射圖 61
3.3 主偏度分析 63
3.3.1 任意方向的偏度 63
3.3.2 協(xié)偏度張量的計算 65
3.3.3 模型與求解 67
3.4 非正交約束主偏度分析 71
3.4.1 克羅內(nèi)克積 71
3.4.2 非正交約束 72
3.5 主偏度分析與*立成分分析 78
3.5.1 快速*立成分分析 79
3.5.2 FastICA 與主偏度分析 80
3.6 主偏度分析的幾何解釋 82
3.6.1 單形體的偏度映射圖 82
3.6.2 幾何解釋 85
3.7 主偏度分析在應(yīng)用中的問題 87
3.7.1 收斂問題 87
3.7.2 噪聲問題 88
3.7.3 精確解問題 89
3.8 小結(jié) 90
第4章 典型相關(guān)分析 91
4.1 問題背景 91
4.2 互相關(guān)分析 92
4.2.1 模型與求解 93
4.2.2 存在的問題 97
4.3 典型相關(guān)分析 99
4.4 典型相關(guān)分析與互相關(guān)分析 105
4.5 典型相關(guān)分析的幾何解釋 107
4.5.1 冪法 108
4.5.2 幾何解釋 109
4.6 典型相關(guān)分析的變形 111
4.6.1 多視圖典型相關(guān)分析 111
4.6.2 二維典型相關(guān)分析 114
4.7 典型相關(guān)分析在應(yīng)用中的問題 117
4.7.1 病態(tài)問題 117
4.7.2 失配問題 117
4.7.3 目標(biāo)函數(shù)和優(yōu)化模型問題 118
4.8 小結(jié) 119
第5章 非負(fù)矩陣分解 120
5.1 問題背景 120
5.2 非負(fù)矩陣分解的基本原理 121
5.2.1 問題描述 121
5.2.2 問題求解 122
5.3 非負(fù)矩陣分解的概率解釋 125
5.3.1 高斯分布情形 125
5.3.2 泊松分布情形 126
5.4 非負(fù)矩陣分解的物理解釋 128
5.5 非負(fù)矩陣分解與奇異值分解 129
5.6 非負(fù)矩陣分解與K-means 132
5.7 非負(fù)矩陣分解與KKT條件 133
5.8 非負(fù)矩陣分解在應(yīng)用中的問題 134
5.8.1 目標(biāo)函數(shù)的凸凹性 134
5.8.2 局部極值問題 136
5.8.3 分母零值問題 137
5.8.4 觀測數(shù)據(jù)負(fù)值問題 138
5.9 小結(jié) 139
第6章 局部線性嵌入 140
6.1 問題背景 140
6.2 基本概念 141
6.3 局部線性嵌入 146
6.4 拉普拉斯映射 151
6.5 隨機鄰域嵌入 153
6.6 多維尺度變換 155
6.7 等距特征映射 157
6.8 局部線性嵌入在應(yīng)用中的問題 160
6.8.1 病態(tài)問題 161
6.8.2 改進(jìn)局部線性嵌入 162
6.8.3 黑塞局部線性嵌入 163
6.9 小結(jié) 165
第7章 傅里葉變換 167
7.1 問題背景 167
7.2 傅里葉級數(shù) 168
7.3 連續(xù)傅里葉變換 171
7.3.1 從傅里葉級數(shù)到傅里葉變換 171
7.3.2 傅里葉變換的性質(zhì) 178
7.4 離散傅里葉變換 182
7.5 快速傅里葉變換 187
7.6 離散傅里葉變換與循環(huán)移位矩陣 191
7.6.1 循環(huán)移位矩陣特征分解及頻域解釋 191
7.6.2 循環(huán)移位矩陣的時域解釋 195
7.7 離散傅里葉變換與完美差分矩陣 201
7.8 離散傅里葉變換與離散余弦變換 206
7.9 傅里葉變換的物理解釋 211
7.10 傅里葉變換在應(yīng)用中的問題 212
7.10.1 頻譜分辨率問題 212
7.10.2 頻譜泄漏問題 214
7.10.3 時變信號問題 215
7.10.4 分?jǐn)?shù)傅里葉變換 218
7.11 小結(jié) 219
第8章 連通中心演化 221
8.1 問題背景 221
8.2 基于K-means的中心確定算法 222
8.3 圖論的基本概念 223
8.3.1 圖的基本術(shù)語 223
8.3.2 圖的存儲結(jié)構(gòu) 226
8.4 連通中心演化 227
8.4.1 動機與理論依據(jù) 227
8.4.2 相關(guān)概念 232
8.4.3 算法具體步驟 234
8.5 基于特征分解的快速連通中心演化算法 238
8.5.1 算法的計算復(fù)雜度 238
8.5.2 時間復(fù)雜度的降低 238
8.5.3 空間復(fù)雜度的降低 244
8.6 連通中心演化在應(yīng)用中的問題 245
8.6.1 相似度矩陣構(gòu)建問題 245
8.6.2 中心數(shù)跳變問題 246
8.6.3 樣本量失衡問題 247
8.6.4 相似度矩陣的負(fù)值問題 249
8.6.5 中心位置局限問題 251
8.7 小結(jié) 253
第9章 瑞利商 254
9.1 問題背景 254
9.2 瑞利商的定義與性質(zhì) 255
9.3 瑞利商的取值范圍 257
9.3.1 特征分析法 257
9.3.2 線性規(guī)劃法 257
9.3.3 廣義瑞利商的取值范圍 259
9.4 瑞利商的應(yīng)用 260
9.4.1 主成分分析 260
9.4.2 *小化噪聲分量變換 260
9.4.3 典型相關(guān)分析 261
9.4.4 線性判別分析 261
9.4.5 局部線性嵌入 262
9.4.6 法*率 263
9.4.7 自然頻率估計 264
9.4.8 譜聚類 265
9.4.9 約束能量*小化 266
9.4.10 正交子空間投影 267
9.5 小結(jié) 268
參考文獻(xiàn) 269
附錄A 向量范數(shù)與矩陣范數(shù) 273
A.1 向量范數(shù) 273
A.2 矩陣范數(shù) 277
附錄 B 矩陣微積分 278
B.1 實值標(biāo)量函數(shù)相對于實向量的梯度 278
B.2 實值向量函數(shù)相對于實向量的梯度 280
B.3 實值函數(shù)相對于實矩陣的梯度 282
B.4 矩陣微分 284
B.5 跡函數(shù)的梯度矩陣 286
B.6 行列式的梯度矩陣 287
B.7 黑塞矩陣 289