倉頡TensorBoost學(xué)習之旅：人工智能與深度學(xué)習實戰(zhàn)

教學(xué)課件（PPT）
 
本書源碼
 
第1章初探深度學(xué)習
1．1人工智能的基本概念
1.2神經(jīng)網(wǎng)絡(luò)的3次浪潮
1.2．1第1次浪潮： 感知機的誕生和應(yīng)用
1.2．2第2次浪潮： 神經(jīng)網(wǎng)絡(luò)的大發(fā)展
1.2．3第3次浪潮： 深度學(xué)習
1.3深度學(xué)習框架
1.3．1主流深度學(xué)習框架的對比
1.3．2昇思(MindSpore)
1.4本章小結(jié)
1.5習題
第2章倉頡語言快速入門
2.1倉頡語言的開發(fā)環(huán)境搭建
2.1．1安裝和配置倉頡語言編譯器
2.1．2第1個倉頡程序
2.2倉頡語言的基本語法
2.2．1變量和數(shù)據(jù)類型
2.2．2字符和字符串
2.2．3操作符和表達式
2.2．4條件結(jié)構(gòu)和循環(huán)結(jié)構(gòu)
2.2．5函數(shù)的定義和調(diào)用
2.3類和結(jié)構(gòu)體
2.3．1類與對象
2.3．2繼承和多態(tài)
2.3．3接口
2.3．4結(jié)構(gòu)體及其構(gòu)造函數(shù)
2.4泛型和集合類型
2.4．1泛型類型
2.4．2泛型函數(shù)
2.4．3集合類型
2.5包管理工具
2.5．1包
2.5．2模塊
2.5．3庫
2.6本章小結(jié)
2.7習題
第3章自制多層感知機
3.1準備工作： 實現(xiàn)矩陣運算和讀取MNIST數(shù)據(jù)集
3.1．1矩陣和矩陣運算
3.1．2MNIST數(shù)據(jù)集
3.2自制多層感知機的實現(xiàn)
3.2．1多層感知機的構(gòu)建
3.2．2多層感知機的訓(xùn)練
3.2．3多層感知機的核心： 反向傳播算法
3.2．4隨機梯度下降和超參數(shù)的設(shè)置
3.2．5讓代碼運行起來
3.3本章小結(jié)
3.4習題
第4章自動微分
4.1自動微分的原理和實現(xiàn)
4.1．1微分類型
4.1．2自動微分的原理
4.1．3自動微分的實現(xiàn)
4.2倉頡的可微編程
4.2．1初探可微編程
4.2．2可微類型
4.2．3可微函數(shù)
4.2．4伴隨函數(shù)
4.2．5高階微分
4.3本章小結(jié)
4.4習題
第5章倉頡TensorBoost的環(huán)境搭建
5.1準備工作
5.2搭建MindSpore編譯環(huán)境
5.2．1顯卡驅(qū)動與CUDA的安裝
5.2．2編譯工具的安裝
5.2．3編譯依賴的安裝
5.3編譯并安裝MindSpore
5.4倉頡TensorBoost的環(huán)境配置
5.4．1倉頡TensorBoost的安裝
5.4．2檢查倉頡TensorBoost是否安裝成功
5.5環(huán)境配置中的常見問題
5.5．1更新Python版本后終端無法正常打開
5.5．2編譯MindSpore時出現(xiàn)OpenMPI編譯錯誤
5.5．3eigen包下載失敗
5.5．4通過SSH和Samba服務(wù)在Windows環(huán)境中開發(fā)倉頡TensorBoost
程序
5.6本章小結(jié)
5.7習題
第6章張量的基本用法
6.1張量
6.1．1張量的定義
6.1．2張量和數(shù)組的轉(zhuǎn)換
6.1．3張量的屬性
6.1．4張量的復(fù)制
6.2張量的基本運算
6.2．1加、減、乘、除、取余
6.2．2無窮與非數(shù)
6.2．3矩陣運算
6.2．4張量的維度交換和矩陣轉(zhuǎn)置
6.3張量是可微類型
6.3．1動態(tài)圖和靜態(tài)圖
6.3．2張量的自動微分
6.4張量元組與參數(shù)
6.4．1張量元組
6.4．2參數(shù)
6.5本章小結(jié)
6.6習題
第7章構(gòu)建神經(jīng)網(wǎng)絡(luò)
7.1單層感知機實現(xiàn)線性回歸
7.1．1MindRecord數(shù)據(jù)集的讀取
7.1．2定義感知機
7.1．3計算代價函數(shù)并反向傳播求解梯度
7.1．4應(yīng)用隨機梯度下降優(yōu)化器更新感知機參數(shù)
7.1．5訓(xùn)練感知機
7.2多層感知機實現(xiàn)數(shù)字識別
7.2．1MNIST數(shù)據(jù)集的讀取
7.2．2定義多層感知機
7.2．3計算代價函數(shù)并反向傳播求解梯度
7.2．4創(chuàng)建隨機梯度下降優(yōu)化器更新網(wǎng)絡(luò)參數(shù)
7.2．5訓(xùn)練多層感知機
7.3神經(jīng)網(wǎng)絡(luò)的持久化
7.3．1運行環(huán)境管理和靜態(tài)圖的保存
7.3．2張量的持久化
7.3．3神經(jīng)網(wǎng)絡(luò)模型的持久化
7.4本章小結(jié)
7.5習題
第8章張量的高級用法
8.1數(shù)學(xué)運算算子
8.1．1基礎(chǔ)數(shù)學(xué)運算算子
8.1．2統(tǒng)計運算
8.1．3稀疏算法
8.1．4邏輯運算
8.1．5張量的內(nèi)存設(shè)置
8.2張量比較
8.2．1維度內(nèi)的比較
8.2．2元素級的比較
8.2．3廣播機制
8.3張量的維度操作
8.3．1基本維度變換
8.3．2張量的切片和取值
8.3．3張量的合并與分割
8.3．4反轉(zhuǎn)元素
8.4本章小結(jié)
8.5習題
第9章深度神經(jīng)網(wǎng)絡(luò)
9.1選擇合適的損失函數(shù)
9.1．1L1、L2范數(shù)損失函數(shù)
9.1．2熵和交叉熵
9.1．3交叉熵損失函數(shù)
9.1．4Softmax激活函數(shù)
9.2選擇合適的激活函數(shù)
9.2．1梯度消失和梯度爆炸
9.2．2Sigmoid及其衍生激活函數(shù)
9.2．3線性整流函數(shù)(ReLU)
9.2．4常用的激活函數(shù)
9.3選擇合適的優(yōu)化器
9.3．1動量梯度下降
9.3．2自適應(yīng)學(xué)習率
9.3．3Adam算法
9.4正則化與過擬合問題
9.4．1過擬合和欠擬合
9.4．2L1和L2正則化
9.4．3DropOut
9.5改進深度神經(jīng)網(wǎng)絡(luò)
9.5．1采樣器、訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集的加載
9.5．2改進激活函數(shù)和損失函數(shù)
9.5．3改進優(yōu)化器
9.6本章小結(jié)
9.7習題
第10章卷積神經(jīng)網(wǎng)絡(luò)
10.1卷積神經(jīng)網(wǎng)絡(luò)與圖像識別
10.1．1卷積和圖像卷積
10.1．2初識卷積神經(jīng)網(wǎng)絡(luò)
10.2LeNet神經(jīng)網(wǎng)絡(luò)
10.2．1LeNet5神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
10.2．2手寫數(shù)字識別的實現(xiàn)
10.3VGG神經(jīng)網(wǎng)絡(luò)
10.3．1CIFAR10數(shù)據(jù)集
10.3．2批標準化
10.3．3VGG16神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
10.3．4圖片分類的實現(xiàn)
10.4本章小結(jié)
10.5習題
第11章循環(huán)神經(jīng)網(wǎng)絡(luò)
11.1循環(huán)神經(jīng)網(wǎng)絡(luò)基本原理
11.1．1初識循環(huán)神經(jīng)網(wǎng)絡(luò)
11.1．2長短期記憶網(wǎng)絡(luò)
11.2用LSTM解決序列問題
11.2．1堆疊LSTM
11.2．2序列數(shù)據(jù)的表示方法
11.2．3預(yù)測航班載客量的實現(xiàn)
11.3本章小結(jié)
11.4習題
附錄A張量的操作符重載