TensorFlow 2.x高級(jí)計(jì)算機(jī)視覺(jué)

第1篇  計(jì)算機(jī)視覺(jué)和神經(jīng)網(wǎng)絡(luò)概論
第1章  計(jì)算機(jī)視覺(jué)和TensorFlow基礎(chǔ)知識(shí) 3
1.1  技術(shù)要求 3
1.2  使用圖像哈希和濾波檢測(cè)邊緣 3
1.2.1  使用拜耳濾色器形成彩色圖案 4
1.2.2  創(chuàng)建圖像向量 5
1.2.3  變換圖像 8
1.2.4  線性濾波—與內(nèi)核進(jìn)行卷積 9
1.2.5  圖像平滑 10
1.2.6  均值濾波器 11
1.2.7  中值濾波器 12
1.2.8  高斯濾波器 12
1.2.9  使用OpenCV進(jìn)行圖像濾波 13
1.2.10  圖像梯度 14
1.2.11  圖像銳化 15
1.2.12  混合高斯和拉普拉斯運(yùn)算 16
1.2.13  檢測(cè)圖像邊緣 18
1.2.14  Sobel邊緣檢測(cè)器 19
1.2.15  Canny邊緣檢測(cè)器 19
1.3  從圖像中提取特征 20
1.3.1  直方圖 20
1.3.2  使用OpenCV進(jìn)行圖像匹配 21
1.4  使用輪廓和HOG檢測(cè)器進(jìn)行對(duì)象檢測(cè) 22
1.4.1  輪廓檢測(cè) 23
1.4.2  檢測(cè)邊界框 23
1.4.3  HOG檢測(cè)器 25
1.4.4  輪廓檢測(cè)方法的局限性 26
1.5  TensorFlow生態(tài)系統(tǒng)和安裝概述 28
1.5.1  TensorFlow與PyTorch 29
1.5.2  TensorFlow安裝 29
1.6  小結(jié) 31
第2章  局部二值模式和內(nèi)容識(shí)別 33
2.1  使用LBP處理圖像 33
2.1.1  生成LBP模式 33
2.1.2  理解LBP直方圖 36
2.1.3  直方圖比較方法 36
2.1.4  LBP的計(jì)算成本 39
2.2  將LBP應(yīng)用于紋理識(shí)別 39
2.3  使臉部顏色與基礎(chǔ)顏色匹配—LBP及其局限性 45
2.4  使臉部顏色與基礎(chǔ)顏色匹配—顏色匹配技術(shù) 48
2.5  小結(jié) 49
第3章  使用OpenCV和CNN進(jìn)行面部檢測(cè) 51
3.1  應(yīng)用Viola-Jones AdaBoost學(xué)習(xí)模型和Haar級(jí)聯(lián)分類器進(jìn)行人臉識(shí)別 51
3.1.1  選擇哈爾特征 51
3.1.2  創(chuàng)建積分圖像 52
3.1.3  進(jìn)行AdaBoost訓(xùn)練 55
3.1.4  級(jí)聯(lián)分類器 56
3.1.5  訓(xùn)練級(jí)聯(lián)檢測(cè)器 57
3.2  使用深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)面部關(guān)鍵點(diǎn) 58
3.2.1  準(zhǔn)備用于關(guān)鍵點(diǎn)檢測(cè)的數(shù)據(jù)集 58
3.2.2  處理關(guān)鍵點(diǎn)數(shù)據(jù) 61
3.2.3  在輸入Keras–Python代碼之前進(jìn)行預(yù)處理 61
3.2.4  Keras–Python代碼中的預(yù)處理 61
3.2.5  定義模型架構(gòu) 63
3.2.6  訓(xùn)練模型以進(jìn)行關(guān)鍵點(diǎn)預(yù)測(cè) 65
3.3  使用CNN預(yù)測(cè)面部表情 67
3.4  3D人臉檢測(cè)概述 69
3.4.1  3D重建的硬件設(shè)計(jì)概述 69
3.4.2  3D重建和跟蹤概述 69
3.4.3  參數(shù)跟蹤概述 70
3.5  小結(jié) 71
第4章  圖像深度學(xué)習(xí) 73
4.1  理解CNN及其參數(shù) 73
4.1.1  卷積 75
4.1.2  在空間上的卷積—3×3濾波器 77
4.1.3  在空間上的卷積—1×1濾波器 78
4.1.4  池化 79
4.1.5  填充 80
4.1.6  步幅 81
4.1.7  激活 82
4.1.8  全連接層 83
4.1.9  正則化 84
4.1.10  舍棄 84
4.1.11  內(nèi)部協(xié)方差漂移和批歸一化 85
4.1.12  Softmax 87
4.2  優(yōu)化CNN參數(shù) 87
4.2.1  基準(zhǔn)情況 89
4.2.2  迭代1 90
4.2.3  迭代2 90
4.2.4  迭代3 91
4.2.5  迭代4 92
4.3  可視化神經(jīng)網(wǎng)絡(luò)的各個(gè)層 94
4.3.1  構(gòu)建自定義圖像分類器模型并可視化其層 94
4.3.2  神經(jīng)網(wǎng)絡(luò)輸入和參數(shù) 94
4.3.3  輸入圖像 95
4.3.4  定義訓(xùn)練和驗(yàn)證生成器 95
4.3.5  開(kāi)發(fā)模型 96
4.3.6  編譯和訓(xùn)練模型 96
4.3.7  輸入測(cè)試圖像并將其轉(zhuǎn)換為張量 98
4.3.8  可視化第一個(gè)激活層 99
4.3.9  可視化多個(gè)激活層 99
4.3.10  訓(xùn)練現(xiàn)有的高級(jí)圖像分類器模型并可視化其層 103
4.4  小結(jié) 107
第2篇  TensorFlow和計(jì)算機(jī)視覺(jué)的高級(jí)概念
第5章  神經(jīng)網(wǎng)絡(luò)架構(gòu)和模型 111
5.1  AlexNet概述 111
5.2  VGG16概述 116
5.3  Inception概述 117
5.3.1  Inception網(wǎng)絡(luò)的工作原理 117
5.3.2  GoogLeNet檢測(cè) 120
5.4  ResNet概述 121
5.5  R-CNN概述 123
5.5.1  圖像分割 125
5.5.2  基于聚類的分割 125
5.5.3  基于圖的分割 125
5.5.4  選擇性搜索 126
5.5.5  區(qū)域提議 126
5.5.6  特征提取 126
5.5.7  圖像分類 127
5.5.8  邊界框回歸 127
5.6  快速R-CNN概述 127
5.7  更快的R-CNN概述 129
5.8  GAN概述 133
5.9  GNN概述 135
5.9.1  有關(guān)圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí) 136
5.9.2  頻譜GNN 137
5.10  強(qiáng)化學(xué)習(xí)概述 138
5.11  遷移學(xué)習(xí)概述 139
5.12  小結(jié) 141
第6章  遷移學(xué)習(xí)和視覺(jué)搜索 143
6.1  使用TensorFlow編寫(xiě)深度學(xué)習(xí)模型代碼 143
6.1.1  下載權(quán)重 144
6.1.2  解碼預(yù)測(cè)結(jié)果 144
6.1.3  導(dǎo)入其他常用功能 145
6.1.4  構(gòu)建模型 145
6.1.5  從目錄輸入圖像 146
6.1.6  使用TensorFlow Keras導(dǎo)入和處理多幅圖像的循環(huán)函數(shù) 146
6.2  使用TensorFlow開(kāi)發(fā)遷移學(xué)習(xí)模型 151
6.2.1  分析和存儲(chǔ)數(shù)據(jù) 151
6.2.2  導(dǎo)入TensorFlow庫(kù) 152
6.2.3  設(shè)置模型參數(shù) 153
6.2.4  建立數(shù)據(jù)輸入管道 153
6.2.5  訓(xùn)練數(shù)據(jù)生成器 153
6.2.6  驗(yàn)證數(shù)據(jù)生成器 154
6.2.7  使用遷移學(xué)習(xí)構(gòu)建最終模型 154
6.2.8  使用Checkpoint保存模型 156
6.2.9  給訓(xùn)練的歷史記錄繪圖 157
6.3  理解視覺(jué)搜索的架構(gòu)和應(yīng)用 160
6.3.1  視覺(jué)搜索的架構(gòu) 161
6.3.2  視覺(jué)搜索代碼和說(shuō)明 164
6.3.3  預(yù)測(cè)上傳圖像的類別 164
6.3.4  預(yù)測(cè)所有圖像的類別 165
6.4  使用tf.data處理視覺(jué)搜索輸入管道 171
6.5  小結(jié) 173
第7章  YOLO和對(duì)象檢測(cè) 175
7.1  YOLO概述 175
7.1.1  交并比的概念 176
7.1.2  YOLO能夠快速檢測(cè)對(duì)象的原因揭秘 177
7.1.3  YOLO v3神經(jīng)網(wǎng)絡(luò)架構(gòu) 179
7.1.4  YOLO與更快的R-CNN的比較 180
7.2  用于對(duì)象檢測(cè)的Darknet簡(jiǎn)介 181
7.2.1  使用Darknet檢測(cè)對(duì)象 181
7.2.2　使用Tiny Darknet檢測(cè)對(duì)象 184
7.3  使用Darknet進(jìn)行實(shí)時(shí)預(yù)測(cè) 186
7.4  YOLO系列的比較 190
7.5  訓(xùn)練模型 191
7.6  使用YOLO v3訓(xùn)練新圖像集以開(kāi)發(fā)自定義模型 192
7.6.1  準(zhǔn)備圖像 194
7.6.2  生成注解文件 194
7.6.3  將.xml文件轉(zhuǎn)換為.txt文件 196
7.6.4  創(chuàng)建合并的train.txt和test.txt文件 196
7.6.5  創(chuàng)建一個(gè)類別名稱文件的列表 196
7.6.6  創(chuàng)建一個(gè)YOLO .data文件 197
7.6.7  調(diào)整YOLO配置文件 197
7.6.8  啟用GPU進(jìn)行訓(xùn)練 200
7.6.9  開(kāi)始訓(xùn)練 200
7.7  特征金字塔網(wǎng)絡(luò)和RetinaNet概述 201
7.8  小結(jié) 203
第8章  語(yǔ)義分割和神經(jīng)風(fēng)格遷移 205
8.1  用于語(yǔ)義分割的TensorFlow DeepLab概述 205
8.1.1  空間金字塔池化 207
8.1.2  空洞卷積 207
8.1.3  編碼器-解碼器網(wǎng)絡(luò) 208
8.1.4  編碼器模塊 208
8.1.5  解碼器模塊 209
8.1.6  DeepLab中的語(yǔ)義分割示例 209
8.1.7  Google Colab、Google Cloud TPU和TensorFlow 209
8.2  使用DCGAN生成人工圖像 213
8.2.1  生成器 213
8.2.2  鑒別器 214
8.2.3  訓(xùn)練 215
8.2.4  使用DCGAN修復(fù)圖像 216
8.2.5  TensorFlow DCGAN示例 217
8.3  使用OpenCV修復(fù)圖像 217
8.4  理解神經(jīng)風(fēng)格遷移 218
8.5  小結(jié) 222
第3篇  使用TensorFlow的計(jì)算機(jī)視覺(jué)高級(jí)實(shí)現(xiàn)
第9章  使用多任務(wù)深度學(xué)習(xí)進(jìn)行動(dòng)作識(shí)別 225
9.1  人體姿勢(shì)估計(jì)—OpenPose 225
9.1.1  OpenPose背后的理論 225
9.1.2  理解OpenPose代碼 228
9.2  人體姿勢(shì)估計(jì)—堆疊沙漏模型 231
9.2.1  理解沙漏模型 233
9.2.2  編寫(xiě)沙漏模型代碼 234
9.2.3  argparse塊 235
9.2.4  訓(xùn)練沙漏網(wǎng)絡(luò) 237
9.2.5  創(chuàng)建沙漏網(wǎng)絡(luò) 238
9.3  人體姿勢(shì)估計(jì)—PoseNet 242
9.3.1  自上而下的方法 242
9.3.2  自下而上的方法 242
9.3.3  PoseNet實(shí)現(xiàn) 243
9.3.4  應(yīng)用人體姿勢(shì)進(jìn)行手勢(shì)識(shí)別 246
9.4  使用各種方法進(jìn)行動(dòng)作識(shí)別 247
9.4.1  基于加速度計(jì)識(shí)別動(dòng)作 248
9.4.2  將基于視頻的動(dòng)作與姿勢(shì)估計(jì)相結(jié)合 250
9.4.3  使用4D方法進(jìn)行動(dòng)作識(shí)別 251
9.5  小結(jié) 251
第10章  使用R-CNN、SSD和R-FCN進(jìn)行對(duì)象檢測(cè) 253
10.1  SSD概述 253
10.2  R-FCN概述 256
10.3  TensorFlow對(duì)象檢測(cè)API概述 258
10.4  在Google Cloud上使用TensorFlow檢測(cè)對(duì)象 259
10.5  使用TensorFlow Hub檢測(cè)對(duì)象 262
10.6  使用TensorFlow和Google Colab訓(xùn)練自定義對(duì)象檢測(cè)器 263
10.6.1  收集圖像并格式化為.jpg文件 265
10.6.2  注解圖像以創(chuàng)建.xml文件 266
10.6.3  將文件拆分到訓(xùn)練和測(cè)試文件夾中 267
10.6.4  配置參數(shù)并安裝所需的軟件包 269
10.6.5  創(chuàng)建TensorFlow記錄 271
10.6.6  準(zhǔn)備模型并配置訓(xùn)練管道 273
10.6.7  使用TensorBoard監(jiān)控訓(xùn)練進(jìn)度 274
10.6.8  在本地計(jì)算機(jī)上運(yùn)行TensorBoard 274
10.6.9  在Google Colab上運(yùn)行TensorBoard 274
10.6.10  訓(xùn)練模型 275
10.6.11  運(yùn)行推理測(cè)試 278
10.6.12  使用神經(jīng)網(wǎng)絡(luò)模型時(shí)的注意事項(xiàng) 279
10.7  Mask R-CNN概述和Google Colab演示 280
10.8  開(kāi)發(fā)對(duì)象跟蹤器模型以補(bǔ)充對(duì)象檢測(cè)器 282
10.8.1  基于質(zhì)心的跟蹤 282
10.8.2  SORT跟蹤 282
10.8.3  DeepSORT跟蹤 283
10.8.4  OpenCV跟蹤方法 284
10.8.5  基于暹羅網(wǎng)絡(luò)的跟蹤 284
10.8.6  基于SiamMask的跟蹤 285
10.9  小結(jié) 286
第4篇  在邊緣和云端上的TensorFlow實(shí)現(xiàn)
第11章  通過(guò)CPU/GPU優(yōu)化在邊緣設(shè)備上進(jìn)行深度學(xué)習(xí) 291
11.1  邊緣設(shè)備上的深度學(xué)習(xí)概述 291
11.2  用于GPU/CPU優(yōu)化的技術(shù) 293
11.3  MobileNet概述 294
11.4  使用Raspberry Pi進(jìn)行圖像處理 296
11.4.1  Raspberry Pi硬件設(shè)置 297
11.4.2  Raspberry Pi攝像頭軟件設(shè)置 298
11.4.3  在Raspberry Pi中安裝OpenCV 298
11.4.4  在Raspberry Pi中安裝OpenVINO 299
11.4.5  安裝OpenVINO工具包組件 300
11.4.6  設(shè)置環(huán)境變量 301
11.4.7  添加USB規(guī)則 301
11.4.8  使用Python代碼運(yùn)行推理 301
11.4.9  高級(jí)推理 302
11.4.10  人臉檢測(cè)、行人檢測(cè)和車輛檢測(cè) 304
11.4.11  特征識(shí)別模型 305
11.4.12  動(dòng)作識(shí)別模型 306
11.4.13  車牌、注視和人員檢測(cè) 306
11.5  使用OpenVINO進(jìn)行模型轉(zhuǎn)換和推理 309
11.5.1  使用NCAPPZOO在終端中運(yùn)行推理 309
11.5.2  轉(zhuǎn)換預(yù)訓(xùn)練模型以進(jìn)行推理 310
11.5.3  轉(zhuǎn)換使用Keras開(kāi)發(fā)的TensorFlow模型 310
11.5.4  轉(zhuǎn)換使用TensorFlow對(duì)象檢測(cè)API開(kāi)發(fā)的TensorFlow模型 311
11.5.5  OpenVINO模型推理過(guò)程總結(jié) 312
11.6  TensorFlow Lite的應(yīng)用 314
11.6.1  將TensorFlow模型轉(zhuǎn)換為tflite格式 315
11.6.2  Python API 315
11.6.3  TensorFlow對(duì)象檢測(cè)API—tflite_convert 315
11.6.4  TensorFlow對(duì)象檢測(cè)API—toco 316
11.6.5  模型優(yōu)化 318
11.7  使用TensorFlow Lite在Android手機(jī)上進(jìn)行對(duì)象檢測(cè) 319
11.8  使用TensorFlow Lite在Raspberry Pi上進(jìn)行對(duì)象檢測(cè) 323
11.8.1  圖像分類 324
11.8.2  對(duì)象檢測(cè) 325
11.9  使用TensorFlow Lite和Create ML在iPhone上進(jìn)行對(duì)象檢測(cè) 326
11.9.1  適用于iPhone的TensorFlow Lite轉(zhuǎn)換模型 327
11.9.2  Core ML 330
11.9.3  將TensorFlow模型轉(zhuǎn)換為Core ML格式 333
11.10  各種注解方法的摘要 333
11.10.1  將標(biāo)注工作外包給第三方 333
11.10.2  自動(dòng)或半自動(dòng)標(biāo)注 334
11.11  小結(jié) 338
第12章  用于計(jì)算機(jī)視覺(jué)的云計(jì)算平臺(tái) 339
12.1  在GCP中訓(xùn)練對(duì)象檢測(cè)器 339
12.1.1  在GCP中創(chuàng)建項(xiàng)目 340
12.1.2  GCP設(shè)置 341
12.1.3  Google Cloud Storage存儲(chǔ)桶設(shè)置 342
12.1.4  使用GCP API設(shè)置存儲(chǔ)桶 342
12.1.5  使用Ubuntu終端設(shè)置存儲(chǔ)桶 343
12.1.6  設(shè)置Google Cloud SDK 343
12.1.7  將終端鏈接到Google Cloud項(xiàng)目和存儲(chǔ)桶 344
12.1.8  安裝TensorFlow對(duì)象檢測(cè)API 345
12.1.9  準(zhǔn)備數(shù)據(jù)集 346
12.1.10  TFRecord和標(biāo)注地圖數(shù)據(jù) 346
12.1.11  準(zhǔn)備數(shù)據(jù) 346
12.1.12  上傳數(shù)據(jù) 347
12.1.13  model.ckpt文件 348
12.1.14  模型配置文件 348
12.1.15  在云端訓(xùn)練 350
12.1.16  在TensorBoard中查看模型輸出 351
12.1.17  模型輸出并轉(zhuǎn)換為凍結(jié)圖 353
12.1.18  從Google Colab導(dǎo)出tflite graph.py 354
12.2  在AWS SageMaker云平臺(tái)中訓(xùn)練對(duì)象檢測(cè)器 357
12.2.1  設(shè)置AWS賬戶和限制等 357
12.2.2  將.xml文件轉(zhuǎn)換為JSON格式 357
12.2.3  將數(shù)據(jù)上傳到S3存儲(chǔ)桶 358
12.2.4  創(chuàng)建Notebook實(shí)例并開(kāi)始訓(xùn)練 358
12.2.5  修復(fù)訓(xùn)練中的一些常見(jiàn)故障 359
12.3  在Microsoft Azure云平臺(tái)中訓(xùn)練對(duì)象檢測(cè)器 361
12.3.1  創(chuàng)建一個(gè)Azure賬號(hào)并設(shè)置Custom Vision 361
12.3.2  上傳訓(xùn)練圖像并標(biāo)注它們 362
12.4  大規(guī)模訓(xùn)練和打包 366
12.4.1  關(guān)于分布式訓(xùn)練 366
12.4.2  應(yīng)用程序打包 366
12.5  基于云的視覺(jué)搜索背后的總體思路 367
12.6  分析各種云平臺(tái)中的圖像和搜索機(jī)制 368
12.6.1  使用GCP進(jìn)行視覺(jué)搜索 369
12.6.2  使用AWS進(jìn)行視覺(jué)搜索 370
12.6.3  使用Azure進(jìn)行視覺(jué)搜索 372
12.7  小結(jié) 373