圖像序列光流計(jì)算理論及優(yōu)化方法

目錄　
前言　
第1章　緒論　1　
1.1　研究背景　1　
1.2　圖像序列光流定義　1　
1.2.1　運(yùn)動(dòng)場(chǎng)與光流場(chǎng)對(duì)應(yīng)關(guān)系　1　
1.2.2　光流基本約束方程　3　
1.3　國(guó)內(nèi)外研究發(fā)展與現(xiàn)狀　4　
1.3.1　基于變分理論的光流計(jì)算方法　4　
1.3.2　基于匹配模型的光流計(jì)算方法　7　
1.3.3　基于深度學(xué)習(xí)的光流計(jì)算方法　8　
1.3.4　圖像序列光流計(jì)算存在的若干問(wèn)題　12　
1.4　本書的主要內(nèi)容及章節(jié)安排　13　
第2章　光流計(jì)算數(shù)據(jù)庫(kù)及評(píng)價(jià)基準(zhǔn)　15　
2.1　引言　15　
2.2　光流計(jì)算數(shù)據(jù)庫(kù)　15　
2.2.1　Middlebury數(shù)據(jù)集　15　
2.2.2　MPI-Sintel數(shù)據(jù)集　16　
2.2.3　KITTI數(shù)據(jù)集　17　
2.2.4　FlyingChairs數(shù)據(jù)集　17　
2.2.5　FlyingThings3D數(shù)據(jù)集　18　
2.2.6　HD1K數(shù)據(jù)集　18　
2.2.7　FlyingChairsOCC數(shù)據(jù)集　19　
2.3　光流評(píng)價(jià)標(biāo)準(zhǔn)　19　
2.3.1　Middlebury數(shù)據(jù)集評(píng)價(jià)標(biāo)準(zhǔn)　19　
2.3.2　MPI-Sintel數(shù)據(jù)集評(píng)價(jià)標(biāo)準(zhǔn)　20　
2.3.3　KITTI數(shù)據(jù)集評(píng)價(jià)標(biāo)準(zhǔn)　21　
2.4　本章小結(jié)　22　
第3章　圖像序列變分光流計(jì)算理論與方法　23　
3.1　引言　23
3.2　變分光流計(jì)算理論　23　
3.2.1　變分原理　23　
3.2.2　梯度下降流　24　
3.2.3　變分光流基本方法　26　
3.3　變分光流能量泛函　27　
3.3.1　數(shù)據(jù)項(xiàng)　27　
3.3.2　平滑項(xiàng)　29　
3.4　基于圖像局部結(jié)構(gòu)張量的變分光流算法　34　
3.4.1　基于圖像局部結(jié)構(gòu)張量的變分光流能量函數(shù)　35　
3.4.2　基于圖像局部結(jié)構(gòu)張量的變分光流算法數(shù)值化過(guò)程　38　
3.4.3　實(shí)驗(yàn)與分析　40　
3.5　基于遮擋檢測(cè)的非局部TV-L1變分光流計(jì)算方法　43　
3.5.1　基于Delaunay三角網(wǎng)格的圖像序列運(yùn)動(dòng)遮擋檢測(cè)　43　
3.5.2　基于遮擋檢測(cè)的非局部TV-L1光流計(jì)算模型　46　
3.5.3　實(shí)驗(yàn)與分析　51　
3.6　本章小結(jié)　53　
第4章　圖像序列變分光流計(jì)算優(yōu)化策略與方法　55　
4.1　引言　55　
4.2　圖像紋理結(jié)構(gòu)分解優(yōu)化策略　55　
4.3　金字塔分層變形計(jì)算策略　57　
4.4　非局部加權(quán)中值濾波優(yōu)化　58　
4.5　基于運(yùn)動(dòng)優(yōu)化語(yǔ)義分割的變分光流計(jì)算方法　60　
4.5.1　基于歸一化互相關(guān)的變分光流計(jì)算模型　60　
4.5.2　基于運(yùn)動(dòng)優(yōu)化語(yǔ)義分割的光流計(jì)算方法　62　
4.5.3　實(shí)驗(yàn)與分析　66　
4.6　基于聯(lián)合濾波的非局部TV-L1變分光流計(jì)算方法　74　
4.6.1　圖像相互結(jié)構(gòu)區(qū)域　74　
4.6.2　圖像光流相互結(jié)構(gòu)引導(dǎo)濾波模型　76　
4.6.3　基于聯(lián)合濾波的非局部TV-L1變分光流計(jì)算模型　77　
4.6.4　基于非局部聯(lián)合濾波優(yōu)化方案線性化過(guò)程　79　
4.6.5　實(shí)驗(yàn)與分析　81　
4.7　本章小結(jié)　89　
第5章　圖像局部匹配光流計(jì)算理論與方法　90　
5.1　引言　90　
5.2　圖像局部匹配模型　90
5.2.1　圖像局部特征點(diǎn)匹配模型　90　
5.2.2　圖像局部區(qū)域匹配模型　96　
5.3　基于圖像相似變換的局部匹配光流計(jì)算方法　97　
5.3.1　非局部TV-L1光流估計(jì)模型　97　
5.3.2　基于非剛性稠密匹配的最近鄰域場(chǎng)　98　
5.3.3　基于非剛性稠密匹配的TV-L1光流估計(jì)　101　
5.3.4　實(shí)驗(yàn)與分析　103　
5.4　基于圖像深度匹配的大位移運(yùn)動(dòng)光流計(jì)算方法　107　
5.4.1　深度匹配　107　
5.4.2　基于稠密插值的大位移運(yùn)動(dòng)光流估計(jì)　111　
5.4.3　實(shí)驗(yàn)與分析　113　
5.5　本章小結(jié)　118　
第6章　深度學(xué)習(xí)光流計(jì)算理論與方法　119　
6.1　引言　119　
6.2　卷積神經(jīng)網(wǎng)絡(luò)模型　119　
6.2.1　輸入層　119　
6.2.2　卷積層　120　
6.2.3　池化層　121　
6.3　卷積神經(jīng)網(wǎng)絡(luò)光流計(jì)算模型　122　
6.3.1　FlowNet光流計(jì)算網(wǎng)絡(luò)模型　122　
6.3.2　FlowNet2.0光流計(jì)算網(wǎng)絡(luò)模型　124　
6.3.3　PWC-Net光流計(jì)算網(wǎng)絡(luò)模型　125　
6.4　卷積神經(jīng)網(wǎng)絡(luò)光流計(jì)算訓(xùn)練方法　127　
6.5　本章小結(jié)　128　
第7章　深度學(xué)習(xí)光流優(yōu)化策略與方法　129　
7.1　引言　129　
7.2　光流估計(jì)網(wǎng)絡(luò)優(yōu)化策略　129　
7.2.1　特征金字塔　129　
7.2.2　匹配代價(jià)層　129　
7.2.3　變形技術(shù)　130　
7.2.4　后置處理　131　
7.2.5　子網(wǎng)絡(luò)融合　131　
7.3　光流估計(jì)訓(xùn)練優(yōu)化策略　132　
7.3.1　有監(jiān)督學(xué)習(xí)模型訓(xùn)練策略　132　
7.3.2　無(wú)監(jiān)督學(xué)習(xí)模型訓(xùn)練策略　133
7.3.3　半監(jiān)督學(xué)習(xí)模型訓(xùn)練策略　134　
7.4　基于遮擋檢測(cè)的多尺度自注意力光流估計(jì)方法　134　
7.4.1　基于變形誤差的遮擋檢測(cè)模塊　135　
7.4.2　基于自注意力機(jī)制的多尺度學(xué)習(xí)模塊　137　
7.4.3　混合訓(xùn)練函數(shù)　140　
7.4.4　實(shí)驗(yàn)與分析　141　
7.5　基于多尺度上下文網(wǎng)絡(luò)模型的光流估計(jì)方法　153　
7.5.1　基于多尺度上下文網(wǎng)絡(luò)的運(yùn)動(dòng)遮擋檢測(cè)模型　154　
7.5.2　基于多尺度上下文網(wǎng)絡(luò)的遮擋–光流聯(lián)合計(jì)算模型　157　
7.5.3　訓(xùn)練損失函數(shù)　158　
7.5.4　實(shí)驗(yàn)與分析　160　
7.6　本章小結(jié)　168　
第8章　總結(jié)與展望　169　
8.1　現(xiàn)有光流計(jì)算方法總結(jié)　169　
8.2　光流計(jì)算技術(shù)發(fā)展展望　170　
參考文獻(xiàn)　173