PyTorch深度學(xué)習(xí)入門與技術(shù)實(shí)踐

第1章?深度學(xué)習(xí)快速入門
1.1?各種深度學(xué)習(xí)應(yīng)用
1.2?準(zhǔn)備開(kāi)發(fā)環(huán)境
1.2.1?Linux基礎(chǔ)
1.2.2?Micro編輯器
1.2.3?在Linux系統(tǒng)中安裝Python
1.2.4?選擇Python版本
1.2.5?在Windows系統(tǒng)中安裝Python
1.3?體驗(yàn)PyTorch
1.3.1?安裝PyTorch
1.3.2?PyTorch中的計(jì)算圖
1.3.3　用三階多項(xiàng)式擬合函數(shù)
1.3.4?實(shí)現(xiàn)手寫數(shù)字識(shí)別
1.4?本章小結(jié)
第2章?Python技術(shù)基礎(chǔ)
2.1?變量
2.2?注釋
2.3?簡(jiǎn)單數(shù)據(jù)類型
2.3.1?數(shù)值
2.3.2?字符串
2.3.3?數(shù)組
2.4?字面值
2.5?控制流
2.5.1?條件語(yǔ)句
2.5.2?循環(huán)語(yǔ)句
2.6?列表
2.7?元組
2.8?集合
2.9?字典
2.10?位數(shù)組
2.11?模塊
2.12?函數(shù)
2.13?print函數(shù)
2.14?正則表達(dá)式
2.15?文件操作
2.15.1?讀寫文件
2.15.2?重命名文件
2.15.3?遍歷文件
2.16?with語(yǔ)句
2.17?使用pickle模塊序列化對(duì)象
2.18?面向?qū)ο缶幊?br />2.19?命令行參數(shù)
2.20?數(shù)據(jù)庫(kù)
2.21?JSON格式
2.22?日志記錄
2.23?異常處理
2.24?本章小結(jié)
第3章?PyTorch中的深度學(xué)習(xí)
3.1?神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
3.1.1?實(shí)現(xiàn)深度前饋網(wǎng)絡(luò)
3.1.2?計(jì)算過(guò)程
3.2?卷積神經(jīng)網(wǎng)絡(luò)
3.3?PyTorch基礎(chǔ)知識(shí)
3.3.1?創(chuàng)建張量
3.3.2?隨機(jī)張量
3.3.3?零和一
3.3.4?范圍張量
3.3.5?張量數(shù)據(jù)類型
3.3.6?從張量獲取信息
3.3.7?操縱張量
3.3.8?深度學(xué)習(xí)中最常見(jiàn)的錯(cuò)誤之一（形狀錯(cuò)誤）
3.3.9?求最小值、最大值、平均值、總和等
3.3.10?最大值、最小值的所處位置
3.3.11?更改張量數(shù)據(jù)類型
3.3.12?重塑、堆疊、壓縮和解壓
3.3.13?索引（從張量中選擇數(shù)據(jù)）
3.3.14?PyTorch張量和NumPy
3.3.15?再現(xiàn)性（試圖從隨機(jī)中提取隨機(jī)性）
3.4?transformer架構(gòu)
3.4.1?編碼器
3.4.2?解碼器
3.4.3?生成概率分布
3.5?為PyTorch模型提供服務(wù)
3.6?本章小結(jié)
第4章?PyTorch開(kāi)發(fā)深度學(xué)習(xí)應(yīng)用
4.1?文本分類
4.1.1?準(zhǔn)備數(shù)據(jù)集
4.1.2?定義網(wǎng)絡(luò)
4.1.3?訓(xùn)練網(wǎng)絡(luò)
4.2?開(kāi)發(fā)聊天機(jī)器人
4.3?用Wav2Vec 2.0進(jìn)行語(yǔ)音識(shí)別
4.4?機(jī)器翻譯
4.5?本章小結(jié)
第5章?分布式PyTorch
5.1?PyTorch分布式概述
5.1.1?數(shù)據(jù)并行訓(xùn)練
5.1.2?基于RPC的分布式訓(xùn)練
5.2?數(shù)據(jù)并行
5.3?單機(jī)模型并行最佳實(shí)踐
5.4?分布式數(shù)據(jù)并行入門
5.5?用PyTorch編寫分布式應(yīng)用程序
5.6?完全分片數(shù)據(jù)并行入門
5.7?基于完全分片數(shù)據(jù)并行的高級(jí)模型訓(xùn)練
5.8?分布式RPC框架入門
5.8.1?使用RPC和RRef的分布式強(qiáng)化學(xué)習(xí)
5.8.2?使用分布式Autograd和分布式優(yōu)化器的分布式RNN
5.9?使用分布式RPC框架實(shí)現(xiàn)參數(shù)服務(wù)器
5.10?基于RPC的分布式流水線并行
5.10.1?步驟1：分區(qū)ResNet50模型
5.10.2?步驟2：將ResNet50模型分片拼接到一個(gè)模塊中
5.10.3?步驟3：定義訓(xùn)練循環(huán)
5.10.4?步驟4：?jiǎn)?dòng)RPC進(jìn)程
5.11?使用異步執(zhí)行實(shí)現(xiàn)批量RPC處理
5.11.1?批量更新參數(shù)服務(wù)器
5.11.2?批量處理CartPole求解器
5.12?分布式數(shù)據(jù)并行與分布式RPC框架的結(jié)合
5.13?使用流水線并行性訓(xùn)練transformer模型
5.14?本章小結(jié)