TensorFlow2強化學(xué)習(xí)手冊

 
第 1 章  使用 TensorFlow 2.x 開發(fā)深度強化學(xué)習(xí)的基本模塊  1
1.1 技術(shù)要求  1
1.2 構(gòu)建訓(xùn)練強化學(xué)習(xí)智能體的環(huán)境和獎勵機制  1
1.2.1 前期準(zhǔn)備  2
1.2.2 實現(xiàn)步驟  2
1.2.3 工作原理  8
1.3 針對離散動作空間和離散決策問題實現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)策略    8
1.3.1 前期準(zhǔn)備  9
1.3.2 實現(xiàn)步驟  9
1.3.3 工作原理   13
1.4 針對連續(xù)動作空間和連續(xù)控制問題實現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)策略  13
1.4.1 前期準(zhǔn)備   14
1.4.2 實現(xiàn)步驟   14
1.4.3 工作原理   19
1.5 將 OpenAI Gym 作為強化學(xué)習(xí)的訓(xùn)練環(huán)境  20
1.5.1 前期準(zhǔn)備   20
1.5.2 實現(xiàn)步驟   20
1.5.3 工作原理   22
1.6 構(gòu)建神經(jīng)網(wǎng)絡(luò)智能體  22
1.6.1 前期準(zhǔn)備   23
1.6.2 實現(xiàn)步驟   23
1.6.3 工作原理   26
1.7 構(gòu)建神經(jīng)網(wǎng)絡(luò)進化智能體    27
1.7.1 前期準(zhǔn)備   27
1.7.2 實現(xiàn)步驟   27
1.7.3 工作原理   34
1.8 參考資料    34
第 2 章  基于價值、策略和行動者-評論家的深度強化學(xué)習(xí)算法實現(xiàn). 35
2.1 技術(shù)要求    35
2.2 構(gòu)建用于訓(xùn)練強化學(xué)習(xí)智能體的隨機環(huán)境   35
2.2.1 前期準(zhǔn)備   36
2.2.2 實現(xiàn)步驟   37
2.2.3 工作原理   42
2.3 構(gòu)建基于價值的強化學(xué)習(xí)智能體算法  42
2.3.1 前期準(zhǔn)備   43
2.3.2 實現(xiàn)步驟   43
2.3.3 工作原理   46
2.4 實現(xiàn)時序差分學(xué)習(xí)  47
2.4.1 前期準(zhǔn)備   47
2.4.2 實現(xiàn)步驟   48
2.4.3 工作原理   52
2.5 構(gòu)建強化學(xué)習(xí)中的蒙特卡洛預(yù)測和控制算法    53
2.5.1 前期準(zhǔn)備   54
2.5.2 實現(xiàn)步驟   54
2.5.3 工作原理   58
2.6 實現(xiàn) SARSA 算法和對應(yīng)的強化學(xué)習(xí)智能體    59
2.6.1 前期準(zhǔn)備   59
2.6.2 實現(xiàn)步驟   59
2.6.3 工作原理   61
2.7 構(gòu)建基于 Q 學(xué)習(xí)的智能體  62
2.7.1 前期準(zhǔn)備   62
2.7.2 實現(xiàn)步驟   63
2.7.3 工作原理   64
2.8 實現(xiàn)策略梯度    65
2.8.1 前期準(zhǔn)備   65
2.8.2 實現(xiàn)步驟   66
2.8.3 工作原理   70
2.9 實現(xiàn)行動者-評論家算法    70
2.9.1 前期準(zhǔn)備   70
2.9.2 實現(xiàn)步驟   71
2.9.3 工作原理   74
第 3 章  高級強化學(xué)習(xí)算法的實現(xiàn)    75
3.1 技術(shù)要求    75
3.2 實現(xiàn) Deep Q 學(xué)習(xí)算法、DQN 和 Double-DQN 智能體  75
3.2.1 前期準(zhǔn)備   76
3.2.2 實現(xiàn)步驟   76
3.2.3 工作原理   81
3.3 實現(xiàn) Dueling DQN 智能體  81
3.3.1 前期準(zhǔn)備   81
3.3.2 實現(xiàn)步驟   82
3.3.3 工作原理   86
3.4 實現(xiàn) Dueling Double DQN 算法和 DDDQN 智能體    86
3.4.1 前期準(zhǔn)備   87
3.4.2 實現(xiàn)步驟   87
3.4.3 工作原理   91
3.5 實現(xiàn)深度遞歸 Q 學(xué)習(xí)算法和 DRQN 智能體    91
3.5.1 前期準(zhǔn)備   91
3.5.2 實現(xiàn)步驟   92
3.5.3 工作原理   96
3.6 實現(xiàn)異步優(yōu)勢行動者-評論家算法和 A3C 智能體    96
3.6.1 前期準(zhǔn)備   96
3.6.2 實現(xiàn)步驟   97
3.6.3 工作原理   104
3.7 實現(xiàn)近端策略優(yōu)化算法和 PPO 智能體    104
3.7.1 前期準(zhǔn)備   104
3.7.2 實現(xiàn)步驟   105
3.7.3 工作原理   112
3.8 實現(xiàn)深度確定性策略梯度算法和 DDPG 智能體  112
3.8.1 前期準(zhǔn)備   112
3.8.2 實現(xiàn)步驟   113
3.8.3 工作原理   119
第 4 章  現(xiàn)實世界中的強化學(xué)習(xí)——構(gòu)建加密貨幣交易智能體  120
4.1 技術(shù)要求  120
4.2 使用真實市場數(shù)據(jù)搭建一個比特幣交易強化學(xué)習(xí)平臺    120
4.2.1 前期準(zhǔn)備   121
4.2.2 實現(xiàn)步驟   121
4.2.3 工作原理   127
4.3 使用價格圖表搭建一個以太坊交易強化學(xué)習(xí)平臺   128
4.3.1 前期準(zhǔn)備   128
4.3.2 實現(xiàn)步驟   129
4.3.3 工作原理   135
4.4 為強化學(xué)習(xí)智能體搭建一個高級的加密貨幣交易平臺    135
4.4.1 前期準(zhǔn)備   135
4.4.2 實現(xiàn)步驟   136
4.4.3 工作原理   140
4.5 使用強化學(xué)習(xí)訓(xùn)練一個加密貨幣交易智能體  141
4.5.1 前期準(zhǔn)備   141
4.5.2 實現(xiàn)步驟   141
4.5.3 工作原理   153
第 5 章  現(xiàn)實世界中的強化學(xué)習(xí)——建立股票/股份交易智能體    154
5.1 技術(shù)要求  154
5.2 使用真實的證券交易所數(shù)據(jù)搭建一個股票市場交易強化學(xué)習(xí)平臺 155
5.2.1 前期準(zhǔn)備   155
5.2.2 實現(xiàn)步驟   155
5.2.3 工作原理   159
5.3 使用價格圖表搭建一個股票市場交易強化學(xué)習(xí)平臺    159
5.3.1 前期準(zhǔn)備   160
5.3.2 實現(xiàn)步驟   160
5.3.3 工作原理   165
5.4 搭建一個高級的股票交易強化學(xué)習(xí)平臺以訓(xùn)練智能體模仿專業(yè)交易員    165
5.4.1 前期準(zhǔn)備   165
5.4.2 實現(xiàn)步驟   166
5.4.3 工作原理   171
第 6 章  現(xiàn)實世界中的強化學(xué)習(xí)——構(gòu)建智能體來完成您的待辦事項    173
6.1 技術(shù)要求  173
6.2 為現(xiàn)實世界的強化學(xué)習(xí)搭建學(xué)習(xí)環(huán)境    174
6.2.1 前期準(zhǔn)備   174
6.2.2 實現(xiàn)步驟   174
6.2.3 工作原理   181
6.3 構(gòu)建一個強化學(xué)習(xí)智能體來完成網(wǎng)絡(luò)上的任務(wù)——行動號召  181
6.3.1 前期準(zhǔn)備   182
6.3.2 實現(xiàn)步驟   182
6.3.3 工作原理   192
6.4 構(gòu)建一個用于可視化頁面的自動登錄機器人  193
6.4.1 前期準(zhǔn)備   194
6.4.2 實現(xiàn)步驟   194
6.4.3 工作原理   202
6.5 訓(xùn)練一個強化學(xué)習(xí)智能體來自動為您的行程預(yù)訂航班    203
6.5.1 前期準(zhǔn)備   203
6.5.2 實現(xiàn)步驟   204
6.5.3 工作原理   211
6.6 訓(xùn)練一個強化學(xué)習(xí)智能體來管理您的電子郵件  212
6.6.1 前期準(zhǔn)備   212
6.6.2 實現(xiàn)步驟   213
6.6.3 工作原理   217
6.7 訓(xùn)練一個強化學(xué)習(xí)智能體來自動管理您的社交媒體賬戶    218
6.7.1 前期準(zhǔn)備   218
6.7.2 實現(xiàn)步驟   219
6.7.3 工作原理   226
第 7 章  在云端部署深度強化學(xué)習(xí)智能體    228
7.1 技術(shù)要求  228
7.2 實現(xiàn)強化學(xué)習(xí)智能體的運行組件   228
7.2.1 前期準(zhǔn)備   229
7.2.2 實現(xiàn)步驟   229
7.2.3 工作原理   234
7.3 建立強化學(xué)習(xí)環(huán)境模擬器的服務(wù)   234
7.3.1 前期準(zhǔn)備   235
7.3.2 實現(xiàn)步驟   235
7.3.3 工作原理   241
7.4 使用遠程模擬服務(wù)器訓(xùn)練強化學(xué)習(xí)智能體  242
7.4.1 前期準(zhǔn)備   242
7.4.2 實現(xiàn)步驟   242
7.4.3 工作原理   246
7.5 測試/評估強化學(xué)習(xí)智能體    246
7.5.1 前期準(zhǔn)備   247
7.5.2 實現(xiàn)步驟   247
7.5.3 工作原理   250
7.6 組裝強化學(xué)習(xí)智能體進行部署——一個交易機器人    250
7.6.1 前期準(zhǔn)備   251
7.6.2 實現(xiàn)步驟   251
7.6.3 工作原理   256
7.7 將強化學(xué)習(xí)智能體部署到云端——交易機器人即服務(wù)    256
7.7.1 前期準(zhǔn)備   257
7.7.2 實現(xiàn)步驟   257
7.7.3 工作原理   259
第 8 章  使用分布式訓(xùn)練加速深度強化學(xué)習(xí)智能體開發(fā)    261
8.1 技術(shù)要求  261
8.2 使用 TensorFlow 2.x 的分布式深度學(xué)習(xí)模型——多 GPU 訓(xùn)練   261
8.2.1 前期準(zhǔn)備   262
8.2.2 實現(xiàn)步驟   262
8.2.3 工作原理   268
8.3 縱向擴展與橫向擴展——多機、多 GPU 訓(xùn)練  268
8.3.1 前期準(zhǔn)備   269
8.3.2 實現(xiàn)步驟   269
8.3.3 工作原理   272
8.4 大規(guī)模訓(xùn)練深度強化學(xué)習(xí)智能體——多 GPU PPO 智能體  272
8.4.1 前期準(zhǔn)備   272
8.4.2 實現(xiàn)步驟   272
8.4.3 工作原理   284
8.5 為加速訓(xùn)練的分布式深度強化學(xué)習(xí)的基礎(chǔ)模塊  284
8.5.1 前期準(zhǔn)備   284
8.5.2 實現(xiàn)步驟   285
8.5.3 工作原理   290
8.6 使用 Ray、Tune 和 RLLib 進行大規(guī)模的深度強化學(xué)習(xí)智能體訓(xùn)練    291
8.6.1 前期準(zhǔn)備   291
8.6.2 實現(xiàn)步驟   291
8.6.3 工作原理   296
第 9 章  深度強化學(xué)習(xí)智能體的多平臺部署  297
9.1 技術(shù)要求  297
9.2 使用 TensorFlow Lite 組裝用于移動和物聯(lián)網(wǎng)設(shè)備的深度強化學(xué)習(xí)智能體    297
9.2.1 前期準(zhǔn)備   298
9.2.2 實現(xiàn)步驟   298
9.2.3 工作原理   303
9.3 在移動設(shè)備上部署強化學(xué)習(xí)智能體    304
9.3.1 前期準(zhǔn)備   305
9.3.2 實現(xiàn)步驟   306
9.3.3 工作原理   313
9.4 使用 TensorFlow.js 為 Web 和 Node.js 組裝深度強化學(xué)習(xí)智能體    313
9.4.1 前期準(zhǔn)備   313
9.4.2 實現(xiàn)步驟   314
9.4.3 工作原理   318
9.5 將深度強化學(xué)習(xí)智能體部署為服務(wù)    318
9.5.1 前期準(zhǔn)備   319
9.5.2 實現(xiàn)步驟   319
9.5.3 工作原理   323
9.6 為跨平臺部署組裝深度強化學(xué)習(xí)智能體   323
9.6.1 前期準(zhǔn)備   323
9.6.2 實現(xiàn)步驟   324
9.6.3 工作原理   330