神經(jīng)網(wǎng)絡(luò)加速器的計(jì)算架構(gòu)及存儲(chǔ)優(yōu)化技術(shù)研究

第1章  緒論 1
1.1  研究背景 1
1.2  研究現(xiàn)狀 3
1.2.1  神經(jīng)網(wǎng)絡(luò)算法的發(fā)展歷程  3
1.2.2  神經(jīng)網(wǎng)絡(luò)加速器的研究現(xiàn)狀  7
1.3  研究動(dòng)機(jī) 10
1.4  研究思路與研究?jī)?nèi)容 11
1.4.1  研究思路  11
1.4.2  研究?jī)?nèi)容 12
第2章  面向通用神經(jīng)網(wǎng)絡(luò)近似的神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)RNA 14
2.1  引言 14
2.2  問(wèn)題背景 17
2.2.1  神經(jīng)網(wǎng)絡(luò)近似與加速 17
2.2.2  通用架構(gòu)模型 17
2.3  計(jì)算模式  19
2.3.1  RNA 架構(gòu)概覽 19
2.3.2  FP 計(jì)算模式 20
2.3.3  NE 計(jì)算模式 21
2.3.4  CE 計(jì)算模式 23
2.3.5  調(diào)度框架 24
2.4  RNA 架構(gòu)設(shè)計(jì)  31
2.4.1  RNA 架構(gòu)的PE 設(shè)計(jì)   31
2.4.2  RNA 架構(gòu)的互連設(shè)計(jì) 31
2.4.3  RNA 架構(gòu)的控制器設(shè)計(jì) 34
2.5  實(shí)驗(yàn)結(jié)果 37
2.5.1  實(shí)驗(yàn)設(shè)置 37
2.5.2  RNA 架構(gòu)的版圖和硬件指標(biāo) 38
2.5.3  RNA 架構(gòu)的性能分析 39
2.5.4  RNA 架構(gòu)的參數(shù)探索 47
2.6  小結(jié) 50
第3章  面向?qū)Ｓ萌斯ぶ悄茴I(lǐng)域的神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)DNA  51
3.1  引言 51
3.2  問(wèn)題背景 53
3.2.1  CNN 模型 53
3.2.2  以CNN 加速器為中心的計(jì)算系統(tǒng)架構(gòu) 55
3.2.3  CNN 加速的兩大執(zhí)行目標(biāo)和挑戰(zhàn)  56
3.3  計(jì)算模式 57
3.3.1  計(jì)算模式概覽 57
3.3.2  數(shù)據(jù)復(fù)用模式 57
3.3.3  卷積映射方法 66
3.3.4  對(duì)全連接層的支持 70
3.4  DNA 架構(gòu)設(shè)計(jì)   71
3.4.1  可重構(gòu)數(shù)據(jù)通路設(shè)計(jì) 71
3.4.2  可重構(gòu)卷積引擎設(shè)計(jì) 73
3.4.3  DNA 架構(gòu)的工作流程和調(diào)度框架  77
3.5  實(shí)驗(yàn)結(jié)果  79
3.5.1  實(shí)驗(yàn)設(shè)置    79
3.5.2  DNA 架構(gòu)的版圖和硬件指標(biāo) 79
3.5.3  DNA 架構(gòu)的訪存和整體能耗分析 80
3.5.4  DNA 架構(gòu)的性能分析 84
3.5.5  DNA 架構(gòu)與國(guó)際工作的比較 85
3.5.6  基于DNA 架構(gòu)的人工智能計(jì)算芯片Thinker  88
3.6  小結(jié)  90
第4章  基于數(shù)據(jù)保持時(shí)間的神經(jīng)網(wǎng)絡(luò)存儲(chǔ)優(yōu)化框架RANA  92
4.1  引言  92
4.2  問(wèn)題背景   95
4.2.1  CNN 模型   95
4.2.2  CNN 加速器 96
4.2.3  CNN 加速器的緩存容量問(wèn)題  97
4.2.4  eDRAM 及數(shù)據(jù)保持問(wèn)題  98
4.3  研究動(dòng)機(jī)   99
4.3.1  實(shí)驗(yàn)平臺(tái)  99
4.3.2  問(wèn)題分析  100
4.3.3  優(yōu)化機(jī)會(huì) 102
4.4  RANA 框架 102
4.4.1  RANA 框架概覽  102
4.4.2  基于數(shù)據(jù)保持時(shí)間的訓(xùn)練方法  104
4.4.3  混合計(jì)算模式   107
4.4.4  刷新優(yōu)化的eDRAM 控制器  113
4.5  實(shí)驗(yàn)結(jié)果   114
4.5.1  實(shí)驗(yàn)設(shè)置 114
4.5.2  對(duì)RANA 框架的評(píng)估  115
4.5.3  在DaDianNao 上的擴(kuò)展性分析  120
4.6  小結(jié)  121
第5章  總結(jié)與展望 123
5.1  工作總結(jié)  123
5.2  未來(lái)工作展望  124
參考文獻(xiàn)   126
在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果  137
致謝   139