深入理解計算機(jī)視覺：關(guān)鍵算法解析與深度神經(jīng)網(wǎng)絡(luò)設(shè)計

目錄

第1篇 計算機(jī)視覺開發(fā)環(huán)境的搭建 1
第1章 Python編程環(huán)境 2
1.1 Python語言簡介 2
1.2 Python腳本的運(yùn)行方式 3
1.3 Anaconda虛擬環(huán)境管理器 3
1.4 使用Anaconda建立虛擬環(huán)境 5
第2章 搭建三層的圖像分類神經(jīng)網(wǎng)絡(luò) 7
2.1 下載數(shù)據(jù)集 7
2.2 探索數(shù)據(jù)集 8
2.3 構(gòu)建、編譯和訓(xùn)練神經(jīng)網(wǎng)絡(luò) 9
2.4 使用神經(jīng)網(wǎng)絡(luò)進(jìn)行批量預(yù)測 12
2.5 將預(yù)測結(jié)果可視化 13
第2篇 計算機(jī)視覺模型從實驗室到生產(chǎn)環(huán)境的部署 15
第3章 圖片數(shù)據(jù)集的處理 16
3.1 數(shù)據(jù)集的預(yù)處理 16
3.1.1 下載和查看數(shù)據(jù)集 16
3.1.2 準(zhǔn)備花卉類別名稱和類別序號的對應(yīng)關(guān)系 17
3.1.3 準(zhǔn)備花卉圖片和類別名稱的對應(yīng)關(guān)系 18
3.2 數(shù)據(jù)集的制作 20
3.2.1 擬寫入數(shù)據(jù)集的數(shù)據(jù) 20
3.2.2 TFRecord格式的數(shù)據(jù)集 21
3.2.3 單個樣本的生成函數(shù) 24
3.2.4 批量生成樣本并寫入TFRecord文件 26
3.3 數(shù)據(jù)集的讀取和驗證 27
3.3.1 解析單個樣本 27
3.3.2 制作函數(shù)批量解析樣本 30
3.4 數(shù)據(jù)管道的優(yōu)化處理 31
第4章 遷移學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的設(shè)計 35
4.1 遷移學(xué)習(xí)的概念和花卉分類應(yīng)用 35
4.2 下載MobileNet 36
4.3 設(shè)置MobileNet 38
4.4 測試MobileNet的特征提取輸入和輸出 39
第5章 損失函數(shù)的基礎(chǔ)原理 42
5.1 回歸場景下常用的損失函數(shù) 42
5.2 回歸場景下的損失函數(shù)實戰(zhàn) 44
5.3 分類場景下的損失函數(shù) 47
5.3.1 概率、幾率、對數(shù)幾率的概念 47
5.3.2 對數(shù)幾率和概率的相互轉(zhuǎn)換 49
5.3.3 多標(biāo)簽與單標(biāo)簽分類問題 51
5.3.4 單標(biāo)簽分類問題和交叉熵算法原理 52
5.3.5 交叉熵?fù)p失函數(shù) 54
5.4 自定義損失函數(shù) 56
第6章 神經(jīng)網(wǎng)絡(luò)的編譯和訓(xùn)練 58
6.1 神經(jīng)網(wǎng)絡(luò)的編譯 58
6.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 59
6.2.1 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本概念 59
6.2.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的常用回調(diào)機(jī)制 60
6.2.3 訓(xùn)練的返回和過擬合的觀測 62
6.3 神經(jīng)網(wǎng)絡(luò)的保存 65
6.3.1 神經(jīng)網(wǎng)絡(luò)保存的格式和命令 65
6.3.2 神經(jīng)網(wǎng)絡(luò)的性能測試和推理 72
第7章 TensorFlow模型的部署方式 74
7.1 以Edge TPU為例進(jìn)行邊緣端模型部署 75
7.1.1 將模型轉(zhuǎn)換為TFLite格式 75
7.1.2 針對邊緣硬件編譯模型 77
7.1.3 模擬邊緣端推理 79
7.1.4 配置邊緣計算開發(fā)板Edge TPU 81
7.1.5 編寫邊緣端推理代碼 85
7.1.6 將推理代碼下載到開發(fā)板并運(yùn)行 87
7.2 在服務(wù)器端部署模型 89
7.2.1 TensorFlow Serving的安裝和使用 89
7.2.2 網(wǎng)絡(luò)推理請求和響應(yīng)實戰(zhàn) 92
第3篇 神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理和TensorFlow計算框架 95
第8章 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)學(xué)原理和優(yōu)化器 96
8.1 損失函數(shù)和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的本質(zhì) 96
8.1.1 神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)學(xué)抽象 96
8.1.2 計算損失函數(shù)極值的數(shù)學(xué)抽象 97
8.2 使用符號微分法獲得損失值的全局最小值 98
8.3 使用局部梯度下降法不斷靠近損失函數(shù)的最小值 105
8.3.1 局部梯度下降法的原理和TensorFlow的優(yōu)化器 105
8.3.2 自動微分法的原理及自定義梯度 110
8.3.3 使用自動微分法和局部梯度下降法訓(xùn)練波士頓房產(chǎn)數(shù)據(jù)模型 115
第9章 神經(jīng)網(wǎng)絡(luò)的編程范式和靜態(tài)圖轉(zhuǎn)化機(jī)制 122
9.1 計算圖和編程范式 122
9.2 靜態(tài)圖轉(zhuǎn)化機(jī)制AutoGraph和裝飾器@tf.function 126
9.3 TensorFlow神經(jīng)網(wǎng)絡(luò)模型的類繼承關(guān)系 131
9.3.1 TensorFlow的低階API和Keras的高階API 131
9.3.2 Keras的基礎(chǔ)模型類和基礎(chǔ)層類 132
9.4 使用Keras的高階API構(gòu)建模型并進(jìn)行可視化 136
9.4.1 使用序列方式構(gòu)建模型 138
9.4.2 使用函數(shù)方式構(gòu)建模型 139
9.4.3 使用繼承子類方式構(gòu)建模型 140
9.4.4 提取模型對應(yīng)的類名稱 143
第4篇 神經(jīng)網(wǎng)絡(luò)層的算法原理和訓(xùn)練過程控制 144
第10章 神經(jīng)網(wǎng)絡(luò)層的原理和資源開銷 145
10.1 全連接層的原理和資源開銷 145
10.1.1 全連接層的原理 145
10.1.2 全連接層的資源開銷 145
10.1.3 TensorFlow全連接層的API 147
10.2 激活函數(shù)的原理和代碼實現(xiàn) 148
10.2.1 激活函數(shù)的原理 148
10.2.2 激活函數(shù)的代碼實現(xiàn) 149
10.3 二維卷積的原理和資源開銷 150
10.3.1 二維卷積的原理 150
10.3.2 二維卷積的資源開銷 154
10.3.3 TensorFlow二維卷積層的API 155
10.3.4 二維卷積層的配置方式 157
10.4 池化層的原理和實戰(zhàn) 158
10.5 二維卷積層和池化層的感受野 161
10.6 隨機(jī)失活算法和默認(rèn)推理狀態(tài) 162
10.7 批次歸一化算法 163
10.7.1 內(nèi)部協(xié)變量漂移和輸入數(shù)據(jù)重分布 164
10.7.2 訓(xùn)練階段的BN算法 170
10.7.3 推理階段的BN算法 173
10.7.4 在神經(jīng)網(wǎng)絡(luò)模型內(nèi)使用BN層 175
10.8 制作神經(jīng)網(wǎng)絡(luò)的資源開銷函數(shù) 177
10.8.1 整體框架 177
10.8.2 二維卷積層的資源開銷算法 178
10.8.3 全連接層的資源開銷算法 179
10.8.4 BN層的資源開銷算法 180
10.8.5 其他成員函數(shù) 180
第11章 使用計算加速硬件加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 183
11.1 人工智能的數(shù)據(jù)類型和運(yùn)算能力 183
11.2 人工智能計算中的數(shù)據(jù)類型匹配 185
11.3 人工智能硬件的運(yùn)算能力評估 187
11.4 安裝GPU版本的TensorFlow計算框架 192
11.5 使用卷積層和全連接層構(gòu)建經(jīng)典神經(jīng)網(wǎng)絡(luò)LeNet 196
11.5.1 MNIST手寫數(shù)字?jǐn)?shù)據(jù)集 197
11.5.2 使用貫序方式建立極簡神經(jīng)網(wǎng)絡(luò)LeNet 200
11.5.3 使用fit方法在MNIST手寫數(shù)字?jǐn)?shù)據(jù)集上訓(xùn)練LeNet5 205
11.5.4 使用eager方法在MNIST手寫數(shù)字?jǐn)?shù)據(jù)集上訓(xùn)練LeNet5 208
第12章 自定義fit方法和回調(diào)機(jī)制 214
12.1 fit方法的執(zhí)行機(jī)制和自定義fit方法 214
12.2 fit方法的回調(diào)機(jī)制和自定義回調(diào)函數(shù) 217
12.3 TensorFlow的高階回調(diào)函數(shù) 222
12.3.1 早期停止回調(diào)函數(shù)與過擬合 222
12.3.2 檢查點(diǎn)保存回調(diào)函數(shù) 224
12.3.3 檢查點(diǎn)管理器和快速自定義回調(diào)函數(shù) 225
12.3.4 其他高階回調(diào)函數(shù)類 228
12.4 訓(xùn)練過程監(jiān)控和回調(diào)函數(shù) 229
12.4.1 TensorBoard和日志文件的原理和接口 230
12.4.2 TensorBoard的可視化查看 232
12.4.3 eager方法下使用tf.summary存儲日志 235
12.4.4 fit方法下的TensorBoard日志存儲回調(diào)函數(shù) 238
第5篇 目標(biāo)檢測中的骨干網(wǎng)絡(luò) 244
第13章 經(jīng)典骨干網(wǎng)絡(luò)AlexNet的原理解析 245
13.1 整體結(jié)構(gòu)和數(shù)據(jù)增強(qiáng) 245
13.2 負(fù)責(zé)特征提取的第一、二層卷積層 246
13.3 負(fù)責(zé)特征提取的第三、四、五層卷積層 248
13.4 負(fù)責(zé)特征線性組合的第六、七、八層 251
13.5 使用繼承子類方式建立的AlexNet神經(jīng)網(wǎng)絡(luò) 252
13.6 AlexNet的資源開銷 256
第14章 經(jīng)典小核卷積神經(jīng)網(wǎng)絡(luò)VGG的原理解析 259
14.1 VGG的宏觀結(jié)構(gòu)和微觀特點(diǎn) 259
14.2 VGG16的第一、二個卷積塊結(jié)構(gòu) 261
14.3 VGG16的第三、四、五個卷積塊結(jié)構(gòu) 264
14.4 VGG五個卷積塊的代碼實現(xiàn) 267
14.5 VGG小核卷積技巧下的資源開銷 269
14.6 VGG預(yù)訓(xùn)練模型的加載和下游網(wǎng)絡(luò) 272
第15章 經(jīng)典殘差神經(jīng)網(wǎng)絡(luò)ResNet的原理解析 276
15.1 殘差連接的原理和結(jié)構(gòu) 277
15.2 瓶頸殘差模塊堆疊的輸入和輸出函數(shù)關(guān)系 279
15.3 瓶頸殘差模塊的輸入和輸出函數(shù)關(guān)系 283
15.4 堆疊函數(shù)關(guān)系和通用的ResNet網(wǎng)絡(luò)結(jié)構(gòu) 289
15.5 ResNet50 V2模型的案例解析 293
15.6 ResNet的資源開銷評估 297
15.7 ResNet的遷移學(xué)習(xí)和權(quán)重參數(shù)加載 299
第16章 多尺度特征提取的神經(jīng)網(wǎng)絡(luò)DarkNet 302
16.1 DarkNet的基本處理單元 302
16.1.1 DarkNet的專用卷積塊DarknetConv 303
16.1.2 DarkNet的殘差模塊DarknetResidual 305
16.2 YOLO V3的骨干網(wǎng)絡(luò)DarkNet53 307
16.2.1 YOLO V3的殘差模塊堆疊 307
16.2.2 DarkNet53的整體結(jié)構(gòu)和代碼實現(xiàn) 313
16.2.3 DarkNet53的資源開銷 315
16.3 YOLO V3簡版模型的骨干網(wǎng)絡(luò)DarkNet53-tiny 316
16.3.1 DarkNet53-tiny的整體結(jié)構(gòu)和代碼 316
16.3.2 DarkNet53-tiny的測試和資源開銷 318
16.4 YOLO V4的骨干網(wǎng)絡(luò)CSP-DarkNet 319
16.4.1 殘差模塊堆疊結(jié)構(gòu) 319
16.4.2 五個殘差模塊堆疊結(jié)構(gòu)的代碼實現(xiàn) 321
16.4.3 空間金字塔池化結(jié)構(gòu) 325
16.4.4 CSP-DarkNet的整體結(jié)構(gòu)和代碼實現(xiàn) 328
16.4.5 CSP-DarkNet的測試和資源開銷 330
16.5 YOLO V4簡版模型的骨干網(wǎng)絡(luò)CSP-DarkNet-tiny 331
16.5.1 矩陣切片自定義層的算法和保存規(guī)范 331
16.5.2 簡版殘差模塊和簡版殘差模塊堆疊 332
16.5.3 CSP-DarkNet-tiny的整體結(jié)構(gòu)和代碼 336
16.5.4 CSP-DarkNet-tiny的測試和資源開銷 337
第17章 骨干網(wǎng)絡(luò)預(yù)訓(xùn)練和大型圖像數(shù)據(jù)集ImageNet 339
17.1 ImageNet數(shù)據(jù)集和ILSVRC競賽 339
17.1.1 單標(biāo)簽圖像分類任務(wù) 340
17.1.2 單標(biāo)簽分類和定位任務(wù) 342
17.1.3 細(xì)顆粒度分類任務(wù) 345
17.1.4 目標(biāo)檢測任務(wù) 346
17.1.5 其他競賽任務(wù) 346
17.2 CIFAR數(shù)據(jù)集 347
17.3 加載骨干網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)重進(jìn)行遷移學(xué)習(xí) 351
17.3.1 快速創(chuàng)建LeNet和AlexNet并進(jìn)行開銷分析 352
17.3.2 使用高階API快速構(gòu)建VGG、ResNet、MobileNet 354
17.4 加載骨干網(wǎng)絡(luò)DarkNet的預(yù)訓(xùn)練權(quán)重 361
17.4.1 讀取和解析YOLO的官方權(quán)重 361
17.4.2 設(shè)計DarkNet骨干網(wǎng)絡(luò)并加載轉(zhuǎn)換后的權(quán)重 366
17.5 使用圖像分類任務(wù)測試骨干網(wǎng)絡(luò)權(quán)重的性能 368
第6篇 三維計算機(jī)視覺入門和實戰(zhàn) 371
第18章 三維計算機(jī)視覺的數(shù)據(jù)表達(dá)和主要任務(wù) 372
18.1 三1