TensorFlow：實(shí)戰(zhàn)Google深度學(xué)習(xí)框架

第1章 深度學(xué)習(xí)簡介 1 1.1 人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí) 2 1.2 深度學(xué)習(xí)的發(fā)展歷程 7 1.3 深度學(xué)習(xí)的應(yīng)用 10 1.3.1 計(jì)算機(jī)視覺 10 1.3.2 語音識(shí)別 14 1.3.3 自然語言處理 15 1.3.4 人機(jī)博弈 18 1.4 深度學(xué)習(xí)工具介紹和對(duì)比 19 小結(jié) 23 第2章 TensorFlow環(huán)境搭建 25 2.1 TensorFlow的主要依賴包 25 2.1.1 Protocol Buffer 25 2.1.2 Bazel 27 2.2 TensorFlow安裝 29 2.2.1 使用Docker安裝 30 2.2.2 使用pip安裝 32 2.2.3 從源代碼編譯安裝 33 2.3 TensorFlow測試樣例 37 小結(jié) 38 第3章 TensorFlow入門 40 3.1 TensorFlow計(jì)算模型——計(jì)算圖 40 3.1.1 計(jì)算圖的概念 40 3.1.2 計(jì)算圖的使用 41 3.2 TensorFlow數(shù)據(jù)模型——張量 43 3.2.1 張量的概念 43 3.2.2 張量的使用 45 3.3 TensorFlow運(yùn)行模型——會(huì)話 46 3.4 TensorFlow實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò) 48 3.4.1 TensorFlow游樂場及神經(jīng)網(wǎng)絡(luò)簡介 48 3.4.2 前向傳播算法簡介 51 3.4.3 神經(jīng)網(wǎng)絡(luò)參數(shù)與TensorFlow變量 54 3.4.4 通過TensorFlow訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型 58 3.4.5 完整神經(jīng)網(wǎng)絡(luò)樣例程序 62 小結(jié) 65 第4章 深層神經(jīng)網(wǎng)絡(luò) 66 4.1 深度學(xué)習(xí)與深層神經(jīng)網(wǎng)絡(luò) 66 4.1.1 線性模型的局限性 67 4.1.2 激活函數(shù)實(shí)現(xiàn)去線性化 70 4.1.3 多層網(wǎng)絡(luò)解決異或運(yùn)算 73 4.2 損失函數(shù)定義 74 4.2.1 經(jīng)典損失函數(shù) 75 4.2.2 自定義損失函數(shù) 79 4.3 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 81 4.4 神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化 84 4.4.1 學(xué)習(xí)率的設(shè)置 85 4.4.2 過擬合問題 87 4.4.3 滑動(dòng)平均模型 90 小結(jié) 92 第5章 MNIST數(shù)字識(shí)別問題 94 5.1 MNIST數(shù)據(jù)處理 94 5.2 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及不同模型結(jié)果對(duì)比 97 5.2.1 TensorFlow訓(xùn)練神經(jīng)網(wǎng)絡(luò) 97 5.2.2 使用驗(yàn)證數(shù)據(jù)集判斷模型效果 102 5.2.3 不同模型效果比較 103 5.3 變量管理 107 5.4 TensorFlow模型持久化 112 5.4.1 持久化代碼實(shí)現(xiàn) 112 5.4.2 持久化原理及數(shù)據(jù)格式 117 5.5 TensorFlow最佳實(shí)踐樣例程序 126 小結(jié) 132 第6章 圖像識(shí)別與卷積神經(jīng)網(wǎng)絡(luò) 134 6.1 圖像識(shí)別問題簡介及經(jīng)典數(shù)據(jù)集 135 6.2 卷積神經(jīng)網(wǎng)絡(luò)簡介 139 6.3 卷積神經(jīng)網(wǎng)絡(luò)常用結(jié)構(gòu) 142 6.3.1 卷積層 142 6.3.2 池化層 147 6.4 經(jīng)典卷積網(wǎng)絡(luò)模型 149 6.4.1 LeNet-5模型 150 6.4.2 Inception-v3模型 156 6.5 卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí) 160 6.5.1 遷移學(xué)習(xí)介紹 160 6.5.2 TensorFlow實(shí)現(xiàn)遷移學(xué)習(xí) 161 小結(jié) 169 第7章 圖像數(shù)據(jù)處理 170 7.1 TFRecord輸入數(shù)據(jù)格式 170 7.1.1 TFRecord格式介紹 171 7.1.2 TFRecord樣例程序 171 7.2 圖像數(shù)據(jù)處理 173 7.2.1 TensorFlow圖像處理函數(shù) 174 7.2.2 圖像預(yù)處理完整樣例 183 7.3 多線程輸入數(shù)據(jù)處理框架 185 7.3.1 隊(duì)列與多線程 186 7.3.2 輸入文件隊(duì)列 190 7.3.3 組合訓(xùn)練數(shù)據(jù)（batching） 193 7.3.4 輸入數(shù)據(jù)處理框架 196 小結(jié) 198 第8章 循環(huán)神經(jīng)網(wǎng)絡(luò) 200 8.1 循環(huán)神經(jīng)網(wǎng)絡(luò)簡介 200 8.2 長短時(shí)記憶網(wǎng)絡(luò)（LTSM）結(jié)構(gòu) 206 8.3 循環(huán)神經(jīng)網(wǎng)絡(luò)的變種 212 8.3.1 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和深層循環(huán)神經(jīng)網(wǎng)絡(luò) 212 8.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的dropout 214 8.4 循環(huán)神經(jīng)網(wǎng)絡(luò)樣例應(yīng)用 215 8.4.1 自然語言建模 216 8.4.2 時(shí)間序列預(yù)測 225 小結(jié) 230 第9章 TensorBoard可視化 232 9.1 TensorBoard簡介 232 9.2 TensorFlow計(jì)算圖可視化 234 9.2.1 命名空間與TensorBoard圖上節(jié)點(diǎn) 234 9.2.2 節(jié)點(diǎn)信息 241 9.3 監(jiān)控指標(biāo)可視化 246 小結(jié) 252 第10章 TensorFlow計(jì)算加速 253 10.1 TensorFlow使用GPU 253 10.2 深度學(xué)習(xí)訓(xùn)練并行模式 258 10.3 多GPU并行 261 10.4 分布式TensorFlow 268 10.4.1 分布式TensorFlow原理 269 10.4.2 分布式TensorFlow模型訓(xùn)練 272 10.4.3 使用Caicloud運(yùn)行分布式TensorFlow 282 小結(jié) 287