PyTorch深度學習實戰(zhàn)：微課視頻版

目錄

基礎(chǔ)篇

第1章深度學習簡介

1.1計算機視覺

1.1.1定義

1.1.2基本任務(wù)

1.1.3傳統(tǒng)方法

1.1.4仿生學與深度學習

1.1.5現(xiàn)代深度學習

1.1.6小結(jié)

1.2自然語言處理

1.2.1自然語言處理的基本問題

1.2.2傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法的比較

1.2.3發(fā)展趨勢

1.3強化學習

1.3.1什么是強化學習

1.3.2強化學習算法簡介

1.3.3強化學習的應(yīng)用

第2章深度學習框架

2.1Caffe

2.1.1Caffe簡介

2.1.2Caffe的特點

2.1.3Caffe概述

2.2TensorFlow

2.2.1TensorFlow簡介

2.2.2數(shù)據(jù)流圖

2.2.3TensorFlow的特點

2.2.4TensorFlow概述

2.3PyTorch

2.3.1PyTorch簡介

2.3.2PyTorch的特點

2.3.3PyTorch概述

2.4三者的比較

2.4.1Caffe

2.4.2TensorFlow

2.4.3PyTorch






第3章機器學習基礎(chǔ)知識

3.1模型評估與模型參數(shù)選擇

3.1.1驗證

3.1.2正則化

3.2監(jiān)督學習與非監(jiān)督學習

3.2.1監(jiān)督學習

3.2.2非監(jiān)督學習

第4章PyTorch深度學習基礎(chǔ)

4.1Tensor對象及其運算

4.2Tensor的索引和切片

4.3Tensor的變換、拼接和拆分

4.4PyTorch的Reduction操作

4.5PyTorch的自動微分

第5章Logistic回歸

5.1線性回歸

5.2Logistic回歸

5.3用PyTorch實現(xiàn)Logistic回歸

5.3.1數(shù)據(jù)準備

5.3.2線性方程

5.3.3激活函數(shù)

5.3.4損失函數(shù)

5.3.5優(yōu)化算法

5.3.6模型可視化

第6章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

6.1基礎(chǔ)概念

6.2感知器

6.2.1單層感知器

6.2.2多層感知器

6.3BP神經(jīng)網(wǎng)絡(luò)

6.3.1梯度下降

6.3.2后向傳播

6.4Dropout正則化

6.5批標準化

6.5.1Batch Normalization的實現(xiàn)方式

6.5.2Batch Normalization的使用方法

第7章卷積神經(jīng)網(wǎng)絡(luò)與計算機視覺

7.1卷積神經(jīng)網(wǎng)絡(luò)的基本思想

7.2卷積操作

7.3池化層

7.4卷積神經(jīng)網(wǎng)絡(luò)

7.5經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)

7.5.1VGG網(wǎng)絡(luò)

7.5.2InceptionNet

7.5.3ResNet

7.6用PyTorch進行手寫數(shù)字識別

第8章神經(jīng)網(wǎng)絡(luò)與自然語言處理

8.1語言建模

8.2基于多層感知機的架構(gòu)

8.3基于循環(huán)神經(jīng)網(wǎng)絡(luò)的架構(gòu)

8.3.1循環(huán)單元

8.3.2通過時間后向傳播

8.3.3帶有門限的循環(huán)單元

8.3.4循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型

8.3.5神經(jīng)機器翻譯

8.4基于卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)

8.5基于Transformer的架構(gòu)

8.5.1多頭注意力

8.5.2非參位置編碼

8.5.3編碼器單元與解碼器單元

8.6表示學習與預訓練技術(shù)

8.6.1詞向量

8.6.2加入上下文信息的特征表示

8.6.3網(wǎng)絡(luò)預訓練

8.7小結(jié)

實戰(zhàn)篇

第9章搭建卷積神經(jīng)網(wǎng)絡(luò)進行圖像分類

9.1實驗數(shù)據(jù)準備

9.2數(shù)據(jù)預處理和準備

9.2.1數(shù)據(jù)集的讀取

9.2.2重載data.Dataset類

9.2.3transform數(shù)據(jù)預處理

9.3模型構(gòu)建

9.3.1ResNet50

9.3.2bottleneck的實現(xiàn)

9.3.3ResNet50卷積層定義

9.3.4ResNet50 forward實現(xiàn)

9.3.5預訓練參數(shù)裝載

9.4模型訓練與結(jié)果評估

9.4.1訓練類的實現(xiàn)

9.4.2優(yōu)化器的定義

9.4.3學習率衰減

9.4.4訓練

9.5總結(jié)


第10章圖像風格遷移

10.1VGG模型

10.2圖像風格遷移介紹

10.3內(nèi)容損失函數(shù)

10.3.1內(nèi)容損失函數(shù)的定義

10.3.2內(nèi)容損失模塊的實現(xiàn)

10.4風格損失函數(shù)

10.4.1風格損失函數(shù)的定義

10.4.2計算Gram矩陣函數(shù)的實現(xiàn)

10.4.3風格損失模塊的實現(xiàn)

10.5優(yōu)化過程

10.6圖像風格遷移主程序的實現(xiàn)

10.6.1圖像預處理

10.6.2參數(shù)定義

10.6.3模型初始化

10.6.4運行風格遷移的主函數(shù)

10.6.5利用VGG網(wǎng)絡(luò)建立損失函數(shù)

10.6.6風格遷移的優(yōu)化過程

10.6.7運行風格遷移

第11章基于RNN的文本分類

11.1數(shù)據(jù)準備

11.2將名字轉(zhuǎn)換為張量

11.3構(gòu)建神經(jīng)網(wǎng)絡(luò)

11.4訓練

11.4.1準備訓練

11.4.2訓練RNN網(wǎng)絡(luò)

11.5繪制損失變化圖

11.6預測結(jié)果

11.7預測用戶輸入

第12章基于CNN的視頻行為識別

12.1問題描述

12.2源碼結(jié)構(gòu)

12.3數(shù)據(jù)準備

12.4模型搭建與訓練

12.5特征圖可視化

第13章實現(xiàn)對抗性樣本生成

13.1威脅模型

13.2快速梯度符號攻擊

13.3代碼實現(xiàn)

13.3.1輸入

13.3.2受到攻擊的模型

13.3.3FGSM攻擊

13.3.4測試功能

13.3.5運行攻擊

13.3.6結(jié)果分析

13.4對抗示例

13.5小結(jié)

第14章實現(xiàn)基于LSTM的情感分析

14.1情感分析常用的Python工具庫

14.1.1PyTorch

14.1.2tqdm

14.1.3Pandas

14.1.4Gensim

14.1.5collections

14.2數(shù)據(jù)樣本分析

14.3數(shù)據(jù)預處理

14.4算法模型

14.4.1循環(huán)神經(jīng)網(wǎng)絡(luò)

14.4.2長短期記憶神經(jīng)網(wǎng)絡(luò)

14.4.3模型實現(xiàn)

14.5小結(jié)

第15章實現(xiàn)DCGAN

15.1生成對抗網(wǎng)絡(luò)

15.2DCGAN介紹

15.3初始化代碼

15.3.1初始化相關(guān)庫

15.3.2數(shù)據(jù)加載

15.4模型實現(xiàn)

15.4.1權(quán)重初始化

15.4.2生成器

15.4.3判別器

15.4.4判別器代碼

15.4.5損失函數(shù)和優(yōu)化器

15.4.6訓練

15.5結(jié)果

15.5.1損失與訓練迭代次數(shù)關(guān)系圖

15.5.2生成器G的訓練進度

15.5.3真實圖像與假圖像

15.6小結(jié)

第16章視覺問答

16.1視覺問答簡介

16.2基于BottomUp Attention的聯(lián)合嵌入模型

16.3準備工作

16.3.1下載數(shù)據(jù)

16.3.2安裝必備的軟件包

16.3.3使用配置文件

16.4實現(xiàn)基礎(chǔ)模塊

16.4.1FCNet模塊

16.4.2SimpleClassifier模塊

16.5實現(xiàn)問題嵌入模塊

16.5.1詞嵌入

16.5.2RNN

16.6實現(xiàn)TopDown Attention模塊

16.7組裝完整的VQA系統(tǒng)

16.8運行VQA實驗

16.8.1訓練

16.8.2可視化

附錄APyTorch環(huán)境搭建

A.1Linux平臺下PyTorch環(huán)境搭建

A.2Windows平臺下PyTorch環(huán)境搭建

附錄B深度學習的數(shù)學基礎(chǔ)

B.1線性代數(shù)

B.2概率論

參考文獻