對(duì)偶理論及應(yīng)用

目錄
前言
第1章 優(yōu)化理論的基本概念 1
1.1 引例 1
1.2 優(yōu)化問(wèn)題的一般形式 2
1.2.1 優(yōu)化問(wèn)題 2
1.2.2 多目標(biāo)優(yōu)化 2
1.3 優(yōu)化算法 4
1.3.1 線(xiàn)性搜索 4
1.3.2 信賴(lài)域法 6
1.3.3 下降方向 7
1.4 算法的收斂性與收斂速度 8
1.4.1 收斂性 8
1.4.2 收斂速度 9
1.5 凸集和凸函數(shù) 9
1.5.1 凸集 10
1.5.2 凸函數(shù) 13
1.5.3 梯度、Hessian矩陣和Taylor公式 17
1.5.4 凸函數(shù)的判別 19
1.6 優(yōu)化問(wèn)題的分類(lèi) 21
1.6.1 凸優(yōu)化問(wèn)題 22
1.6.2 凹優(yōu)化問(wèn)題 22
參考文獻(xiàn) 22
第2章 優(yōu)性條件 25
2.1 無(wú)約束問(wèn)題的優(yōu)性條件 25
2.2 約束問(wèn)題的優(yōu)性條件 27
2.2.1 約束問(wèn)題優(yōu)性條件的幾何意義 27
2.2.2 KKT條件 30
參考文獻(xiàn) 33
第3章 對(duì)偶理論 34
3.1 拉格朗日對(duì)偶 34
3.1.1 懲罰法的基本思想 34
3.1.2 原問(wèn)題與對(duì)偶問(wèn)題之間的關(guān)系 36
3.1.3 鞍點(diǎn)與大小問(wèn)題 47
3.2 基本算法 50
3.2.1 次梯度算法 50
3.2.2 原對(duì)偶算法 54
3.3 增量拉格朗日方法 55
3.4 交替方向數(shù)乘法 60
3.5 擴(kuò)展對(duì)偶理論及算法 64
參考文獻(xiàn) 70
第4章 網(wǎng)絡(luò)資源分配中的對(duì)偶應(yīng)用 74
4.1 網(wǎng)絡(luò)效用大化的基本思想 74
4.1.1 網(wǎng)絡(luò)效用大化的應(yīng)用背景 74
4.1.2 Kelly的原始模型 76
4.1.3 網(wǎng)絡(luò)效用大化的基本模型和分布式算法設(shè)計(jì) 78
4.2 效用與效用函數(shù)設(shè)計(jì) 83
4.2.1 效用的定義 83
4.2.2 效用函數(shù)的設(shè)計(jì) 85
4.3 網(wǎng)絡(luò)效用大化模型擴(kuò)展 96
4.3.1 無(wú)線(xiàn)網(wǎng)絡(luò)效用大化模型 97
4.3.2 云計(jì)算中網(wǎng)絡(luò)效用大化模型 101
4.3.3 有限信道狀態(tài)的效用大化模型 103
4.3.4 其他網(wǎng)絡(luò)效用大化模型 105
參考文獻(xiàn) 106
第5章 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)功率控制中的對(duì)偶應(yīng)用 113
5.1 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)中聯(lián)合功率控制和速率調(diào)整 113
5.1.1 應(yīng)用背景及問(wèn)題的提出 114
5.1.2 系統(tǒng)模型 116
5.1.3 基于對(duì)偶分解的分布式算法 120
5.1.4 有反饋噪聲的分布式算法 124
5.1.5 數(shù)值計(jì)算與仿真驗(yàn)證 126
5.2 無(wú)線(xiàn)網(wǎng)絡(luò)中基于ADMM的分布式功率控制算法設(shè)計(jì) 129
5.2.1 應(yīng)用背景 130
5.2.2 系統(tǒng)模型 131
5.2.3 效用函數(shù)為凹的分布式功率控制 132
5.2.4 效用函數(shù)為非凹的分布式功率控制 135
5.2.5 仿真實(shí)驗(yàn) 140
參考文獻(xiàn) 144
第6章 機(jī)器學(xué)習(xí)中的對(duì)偶應(yīng)用 148
6.1 感知器算法 148
6.1.1 感知器的定義 148
6.1.2 感知器的表征能力 149
6.1.3 感知器學(xué)習(xí)策略 151
6.1.4 感知器學(xué)習(xí)原始算法 152
6.1.5 感知器學(xué)習(xí)對(duì)偶算法 153
6.2 支持向量機(jī) 154
6.2.1 動(dòng)機(jī)與基本概念 154
6.2.2 線(xiàn)性可分支持向量機(jī) 155
6.2.3 軟間隔大化 158
6.3 主成分分析 163
6.3.1 主成分分析的概念 163
6.3.2 主成分分析算法 166
參考文獻(xiàn) 168