遷移學(xué)習(xí)導(dǎo)論

目錄
第一部分背景與概念
第1 章緒論3
1.1 遷移學(xué)習(xí)3
1.2 相關(guān)研究領(lǐng)域 6
1.3 遷移學(xué)習(xí)的必要性8
1.3.1 大數(shù)據(jù)與少標(biāo)注之間的矛盾 8
1.3.2 大數(shù)據(jù)與弱計(jì)算能力的矛盾 8
1.3.3 有限數(shù)據(jù)與模型泛化能力的矛盾 9
1.3.4 普適化模型與個(gè)性化需求的矛盾 9
1.3.5 特定應(yīng)用的需求10
1.4 遷移學(xué)習(xí)的研究領(lǐng)域 11
1.4.1 按特征空間分類12
1.4.2 按目標(biāo)域有無標(biāo)簽分類 12
1.4.3 按學(xué)習(xí)方法分類12
1.4.4 按離線與在線形式分類 13
1.5 遷移學(xué)習(xí)的應(yīng)用14
1.5.1 計(jì)算機(jī)視覺14
1.5.2 自然語言處理 15
1.5.3 普適計(jì)算與人機(jī)交互16
1.5.4 醫(yī)療健康17
1.6 學(xué)術(shù)會(huì)議和工業(yè)界中的遷移學(xué)習(xí) 18

第2 章從機(jī)器學(xué)習(xí)到遷移學(xué)習(xí)21
2.1 機(jī)器學(xué)習(xí)及基本概念 21
2.2 結(jié)構(gòu)風(fēng)險(xiǎn)最小化22
2.3 數(shù)據(jù)的概率分布23
2.4 概念與符號(hào)25
2.5 遷移學(xué)習(xí)的問題定義 26

第3 章遷移學(xué)習(xí)基本問題29
3.1 何處遷移30
3.2 何時(shí)遷移32
3.3 如何遷移32
3.4 失敗的遷移：負(fù)遷移 33
3.5 完整的遷移學(xué)習(xí)過程 35

第二部分方法與技術(shù)

第4 章遷移學(xué)習(xí)方法總覽39
4.1 遷移學(xué)習(xí)總體思路39
4.2 分布差異的度量40
4.2.1 百花齊放的遷移學(xué)習(xí)分布度量41
4.2.2 分布差異的統(tǒng)一表征42
4.2.3 分布自適應(yīng)因子的計(jì)算 44
4.3 遷移學(xué)習(xí)統(tǒng)一表征45
4.3.1 樣本權(quán)重遷移法46
4.3.2 特征變換遷移法47
4.3.3 模型預(yù)訓(xùn)練遷移法 48
4.3.4 小結(jié) 48
4.4 上手實(shí)踐48
4.4.1 數(shù)據(jù)準(zhǔn)備49
4.4.2 基準(zhǔn)模型構(gòu)建：KNN 51
4.5 遷移學(xué)習(xí)理論 53
4.5.1 概念與符號(hào)54
4.5.2 基于H-divergence 的理論分析 54
4.5.3 基于HΔH-distance 的理論分析55
4.5.4 基于差異距離的理論分析57
4.5.5 結(jié)合標(biāo)簽函數(shù)差異的理論分析58

第5 章樣本權(quán)重遷移法 59
5.1 問題定義59
5.1.1 樣本權(quán)重遷移法的可行性分析59
5.1.2 形式化定義60
5.2 基于樣本選擇的方法 61
5.2.1 基于非強(qiáng)化學(xué)習(xí)的樣本選擇法62
5.2.2 基于強(qiáng)化學(xué)習(xí)的樣本選擇法 63
5.3 基于權(quán)重自適應(yīng)的方法 64
5.4 上手實(shí)踐66
5.5 小結(jié)68

第6 章統(tǒng)計(jì)特征變換遷移法 69
6.1 問題定義69
6.2 最大均值差異法70
6.2.1 基本概念70
6.2.2 基于最大均值差異的遷移方法72
6.2.3 求解與計(jì)算75
6.2.4 應(yīng)用與擴(kuò)展76
6.3 度量學(xué)習(xí)法78
6.3.1 從預(yù)定義的距離到可學(xué)習(xí)的距離 78
6.3.2 度量學(xué)習(xí)及其形式化79
6.3.3 基于度量學(xué)習(xí)的遷移學(xué)習(xí)80
6.4 上手實(shí)踐81
6.4.1 算法精煉81
6.4.2 編寫代碼82
6.5 小結(jié)84

第7 章幾何特征變換遷移法 85
7.1 問題定義85
7.2 子空間變換法 86
7.3 流形學(xué)習(xí)法87
7.3.1 流形學(xué)習(xí)87
7.3.2 基于流形學(xué)習(xí)的遷移學(xué)習(xí)方法88
7.4 最優(yōu)傳輸法91
7.4.1 最優(yōu)傳輸91
7.4.2 基于最優(yōu)傳輸法的遷移學(xué)習(xí)方法 92
7.5 上手實(shí)踐94
7.6 小結(jié)97

第8 章預(yù)訓(xùn)練方法99
8.1 深度網(wǎng)絡(luò)的可遷移性 99
8.2 預(yù)訓(xùn)練–微調(diào)102
8.3 預(yù)訓(xùn)練方法的有效性分析105
8.4 自適應(yīng)的預(yù)訓(xùn)練方法 106
8.5 重新思考預(yù)訓(xùn)練模型的使用 108
8.6 上手實(shí)踐110
8.7 小結(jié)113

第9 章深度遷移學(xué)習(xí)115
9.1 總體思路116
9.2 深度遷移學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)117
9.2.1 單流結(jié)構(gòu)118
9.2.2 雙流結(jié)構(gòu)118
9.3 數(shù)據(jù)分布自適應(yīng)的深度遷移學(xué)習(xí)方法120
9.3.1 邊緣分布自適應(yīng)120
9.3.2 條件、聯(lián)合與動(dòng)態(tài)分布自適應(yīng)121
9.4 結(jié)構(gòu)自適應(yīng)的深度遷移學(xué)習(xí)方法 122
9.4.1 批歸一化123
9.4.2 批歸一化用于遷移學(xué)習(xí) 123
9.4.3 基于多表示學(xué)習(xí)的遷移網(wǎng)絡(luò)結(jié)構(gòu) 124
9.5 知識(shí)蒸餾125
9.6 上手實(shí)踐127
9.6.1 網(wǎng)絡(luò)結(jié)構(gòu)127
9.6.2 損失 129
9.6.3 訓(xùn)練 131
9.6.4 測試 132
9.7 小結(jié)133

第10 章對(duì)抗遷移學(xué)習(xí)135
10.1 生成對(duì)抗網(wǎng)絡(luò) 135
10.2 對(duì)抗遷移學(xué)習(xí)基本思路 136
10.3 數(shù)據(jù)分布自適應(yīng)的對(duì)抗遷移方法137
10.4 基于信息解耦的對(duì)抗遷移方法 140
10.5 基于數(shù)據(jù)生成的對(duì)抗遷移方法 141
10.6 上手實(shí)踐 142
10.6.1 領(lǐng)域判別器143
10.6.2 分布差異計(jì)算 143
10.6.3 梯度反轉(zhuǎn)層144
10.7 小結(jié) 145

第11 章遷移學(xué)習(xí)熱門研究問題 147
11.1 類別不均衡的遷移學(xué)習(xí) 148
11.2 多源遷移學(xué)習(xí) 150
11.3 開放集遷移學(xué)習(xí)153
11.4 時(shí)間序列的遷移學(xué)習(xí)154
11.5 聯(lián)邦遷移學(xué)習(xí) 158
11.5.1 聯(lián)邦學(xué)習(xí)158
11.5.2 聯(lián)邦遷移學(xué)習(xí) 160
11.6 基于因果關(guān)系的遷移學(xué)習(xí)161
11.6.1 什么是因果關(guān)系161
11.6.2 因果關(guān)系與遷移學(xué)習(xí)163
11.7 自動(dòng)遷移學(xué)習(xí) 168
11.8 在線遷移學(xué)習(xí) 171

第三部分?jǐn)U展與探索

第12 章領(lǐng)域泛化177
12.1 領(lǐng)域泛化問題 177
12.1.1 背景177
12.1.2 問題定義179
12.1.3 常用方法180
12.2 基于數(shù)據(jù)分布自適應(yīng)的方法181
12.2.1 領(lǐng)域無關(guān)成分分析DICA181
12.2.2 深度數(shù)據(jù)分布自適應(yīng)183
12.3 基于解耦的方法184
12.4 基于集成模型的方法186
12.5 基于數(shù)據(jù)生成的方法187
12.5.1 領(lǐng)域隨機(jī)法187
12.5.2 對(duì)抗數(shù)據(jù)生成 188
12.6 基于元學(xué)習(xí)的方法 190
12.7 小結(jié) 191

第13 章元學(xué)習(xí)193
13.1 元學(xué)習(xí)簡介193
13.1.1 問題背景193
13.1.2 元學(xué)習(xí) 194
13.2 基于模型的元學(xué)習(xí)方法 196
13.3 基于度量的元學(xué)習(xí)方法 198
13.4 基于優(yōu)化的元學(xué)習(xí)方法 199
13.5 元學(xué)習(xí)的應(yīng)用與挑戰(zhàn)201
13.5.1 應(yīng)用201
13.5.2 現(xiàn)存的挑戰(zhàn)202
13.6 小結(jié) 202

第14 章遷移學(xué)習(xí)模型選擇205
14.1 模型選擇 205
14.2 基于密度估計(jì)的模型選擇206
14.3 遷移交叉驗(yàn)證 207
14.4 小結(jié) 208

第四部分應(yīng)用與展望

第15 章遷移學(xué)習(xí)的應(yīng)用211
15.1 計(jì)算機(jī)視覺212
15.2 自然語言處理 214
15.3 語音識(shí)別與合成216
15.4 普適計(jì)算與人機(jī)交互218
15.5 醫(yī)療健康領(lǐng)域 220
15.6 其他應(yīng)用 223
15.7 小結(jié) 225

第16 章遷移學(xué)習(xí)前沿227
16.1 融合人類經(jīng)驗(yàn)的遷移227
16.2 遷移強(qiáng)化學(xué)習(xí) 228
16.3 遷移學(xué)習(xí)的可解釋性228
16.4 遷移學(xué)習(xí)系統(tǒng) 229

附錄A231
A.1 常用度量準(zhǔn)則 231
A.1.1 常見的幾種距離231
A.1.2 余弦相似度232
A.1.3 互信息 232
A.1.4 相關(guān)系數(shù)232
A.1.5 KL 散度與JS 距離233
A.1.6 最大均值差異MMD 233
A.1.7 Principal Angle 234
A.1.8 A-distance234
A.1.9 希爾伯特–施密特獨(dú)立性系數(shù)234
A.1.10 Wasserstein Distance234
A.2 遷移學(xué)習(xí)常用數(shù)據(jù)集235
A.2.1 手寫體識(shí)別圖像數(shù)據(jù)集 235
A.2.2 對(duì)象識(shí)別數(shù)據(jù)集236
A.2.3 圖像分類數(shù)據(jù)集237
A.2.4 通用文本分類數(shù)據(jù)集237
A.2.5 行為識(shí)別公開數(shù)據(jù)集238
A.3 本書相關(guān)資源 238
參考文獻(xiàn)241