自己動(dòng)手寫神經(jīng)網(wǎng)絡(luò)

第1章　人工神經(jīng)網(wǎng)絡(luò)概述\t1
1．1　人工智能與神經(jīng)網(wǎng)絡(luò)簡史\t1
1．1．1　人工智能的誕生：1943～1956年\t2
1．1．2　黃金發(fā)展期：1956～1974年\t3
1．1．3　第一次低谷期：1974～1980年\t4
1．1．4　繁榮期：1980～1987年\t5
1．1．5　第二次低谷期：1987～1993年\t5
1．1．6　再次崛起：1993年至今\t6
1．2　生物學(xué)研究對(duì)神經(jīng)網(wǎng)絡(luò)的影響\t6
1．3　大數(shù)據(jù)對(duì)人工智能的影響\t8
1．4　計(jì)算機(jī)硬件發(fā)展對(duì)人工智能的影響\t9
1．5　計(jì)算機(jī)軟件發(fā)展對(duì)人工智能的影響\t9
1．6　人工智能的廣泛應(yīng)用\t10
第2章　人工神經(jīng)元模型與感知機(jī)\t12
2．1　人工神經(jīng)元組成要素\t12
2．1．1　人工神經(jīng)元的基本結(jié)構(gòu)\t12
2．1．2　傳輸函數(shù)類型\t13
2．2　感知機(jī)\t15
2．2．1　使用感知機(jī)識(shí)別水果\t15
2．2．2　讓感知機(jī)記憶邏輯與\t17
2．2．3　感知機(jī)的學(xué)習(xí)算法\t18
2．3　總結(jié)\t20
第3章　神經(jīng)網(wǎng)絡(luò)框架Neuroph介紹\t21
3．1　Neuroph是什么\t21
3．2　Neuroph系統(tǒng)的構(gòu)成\t22
3．3　Neuroph Studio的功能展示\t22
3．3．1　使用Neuroph Studio構(gòu)造感知機(jī)處理邏輯與\t23
3．3．2　使用Neuroph Studio進(jìn)行動(dòng)物分類實(shí)驗(yàn)\t28
3．4　Neuroph Library架構(gòu)分析\t34
3．4．1　Neuroph Library核心架構(gòu)\t35
3．4．2　Neuron神經(jīng)元\t35
3．4．3　Layer層\t36
3．4．4　NeuralNetwork神經(jīng)網(wǎng)絡(luò)\t37
3．4．5　LearningRule學(xué)習(xí)算法\t37
3．4．6　DataSet和DataSetRow\t38
3．5　Neuroph開發(fā)環(huán)境搭建\t38
3．5．1　基礎(chǔ)平臺(tái)——Java介紹以及安裝\t39
3．5．2　包管理工具——Maven安裝\t39
3．5．3　開發(fā)工具——Eclipse安裝\t40
3．6　總結(jié)\t41
第4章　使用Java實(shí)現(xiàn)感知機(jī)及其應(yīng)用\t42
4．1　第一個(gè)Neuroph程序——使用感知機(jī)記憶邏輯與\t42
4．1．1　創(chuàng)建感知機(jī)網(wǎng)絡(luò)\t42
4．1．2　理解輸入神經(jīng)元InputNeuron\t45
4．1．3　理解貝葉斯神經(jīng)元BiasNeuron\t45
4．1．4　step傳輸函數(shù)是如何實(shí)現(xiàn)的\t46
4．2　讓感知機(jī)理解坐標(biāo)系統(tǒng)\t47
4．2．1　感知機(jī)網(wǎng)絡(luò)的設(shè)計(jì)\t47
4．2．2　感知機(jī)網(wǎng)絡(luò)的實(shí)現(xiàn)\t47
4．3　感知機(jī)學(xué)習(xí)算法與Java實(shí)現(xiàn)\t49
4．3．1　感知機(jī)學(xué)習(xí)規(guī)則的實(shí)現(xiàn)\t50
4．3．2　一個(gè)自學(xué)習(xí)的感知機(jī)實(shí)現(xiàn)——SimplePerceptron\t51
4．3．3　小試牛刀——SimplePerceptron學(xué)習(xí)邏輯與\t52
4．3．4　訓(xùn)練何時(shí)停止\t53
4．4　再看坐標(biāo)點(diǎn)位置識(shí)別\t55
4．5　感知機(jī)的極限——異或問題\t57
4．6　總結(jié)\t58
第5章　ADALINE網(wǎng)絡(luò)及其應(yīng)用\t59
5．1　ADALINE網(wǎng)絡(luò)與LMS算法\t59
5．2　ADALINE網(wǎng)絡(luò)的Java實(shí)現(xiàn)\t60
5．3　使用ADALINE網(wǎng)絡(luò)識(shí)別數(shù)字\t62
5．3．1　印刷體數(shù)字識(shí)別問題概述\t62
5．3．2　代碼實(shí)現(xiàn)\t63
5．3．3　加入噪點(diǎn)后再嘗試\t66
5．4　總結(jié)\t67
第6章　多層感知機(jī)和BP學(xué)習(xí)算法\t68
6．1　多層感知機(jī)的結(jié)構(gòu)與簡單實(shí)現(xiàn)\t68
6．1．1　多層感知機(jī)結(jié)構(gòu)的提出\t68
6．1．2　定義多層感知機(jī)處理異或問題\t69
6．1．3　多層感知機(jī)的簡單實(shí)現(xiàn)\t71
6．2　多層感知機(jī)學(xué)習(xí)算法——BP學(xué)習(xí)算法\t74
6．2．1　BP學(xué)習(xí)算法理論介紹\t74
6．2．2　BP學(xué)習(xí)算法與BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)\t77
6．3　BP神經(jīng)網(wǎng)絡(luò)細(xì)節(jié)優(yōu)化\t84
6．3．1　隨機(jī)化權(quán)值的方式\t84
6．3．2　Sigmoid函數(shù)導(dǎo)數(shù)的探討\t86
6．4　帶著算法重回異或問題\t87
6．5　總結(jié)\t89
第7章　BP神經(jīng)網(wǎng)絡(luò)的案例\t90
7．1　奇偶性判別問題\t90
7．1．1　問題描述\t90
7．1．2　代碼實(shí)現(xiàn)\t90
7．2　函數(shù)逼近\t94
7．2．1　問題描述\t94
7．2．2　代碼實(shí)現(xiàn)\t94
7．3　動(dòng)物分類\t99
7．3．1　問題描述\t99
7．3．2　問題分析\t100
7．3．3　代碼實(shí)現(xiàn)\t102
7．4　簡單的語音識(shí)別\t104
7．4．1　問題描述\t104
7．4．2　代碼實(shí)現(xiàn)\t104
7．5　MNIST手寫體識(shí)別\t106
7．5．1　問題描述\t106
7．5．2　問題分析\t108
7．5．3　代碼實(shí)現(xiàn)\t108
7．6　總結(jié)\t112
第8章　Hopfield神經(jīng)網(wǎng)絡(luò)\t113
8．1　Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理\t113
8．1．1　Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)\t113
8．1．2　網(wǎng)絡(luò)吸引子\t114
8．1．3　網(wǎng)絡(luò)權(quán)值的設(shè)計(jì)\t115
8．2　網(wǎng)絡(luò)的存儲(chǔ)容量\t117
8．3　Hopfield神經(jīng)網(wǎng)絡(luò)的Java實(shí)現(xiàn)\t118
8．3．1　Hopfield網(wǎng)絡(luò)構(gòu)造函數(shù)\t118
8．3．2　Hopfield網(wǎng)絡(luò)的神經(jīng)及其特點(diǎn)\t119
8．3．3　Hopfield網(wǎng)絡(luò)學(xué)習(xí)算法\t120
8．4　Hopfield網(wǎng)絡(luò)還原帶有噪點(diǎn)的字符\t121
8．5　Hopfield網(wǎng)絡(luò)的自聯(lián)想案例\t123
8．6　總結(jié)\t126
第9章　BAM雙向聯(lián)想記憶網(wǎng)絡(luò)\t127
9．1　BAM網(wǎng)絡(luò)的結(jié)構(gòu)與原理\t127
9．2　BAM網(wǎng)絡(luò)的學(xué)習(xí)算法\t128
9．3　使用Java實(shí)現(xiàn)BAM網(wǎng)絡(luò)\t129
9．3．1　BAM網(wǎng)絡(luò)的靜態(tài)結(jié)構(gòu)\t129
9．3．2　BAM網(wǎng)絡(luò)學(xué)習(xí)算法\t130
9．3．3　BAM網(wǎng)絡(luò)的運(yùn)行\(zhòng)t131
9．4　BAM網(wǎng)絡(luò)的應(yīng)用\t133
9．4．1　場景描述——人名與電話\t133
9．4．2　數(shù)據(jù)編碼設(shè)計(jì)\t134
9．4．3　具體實(shí)現(xiàn)\t136
9．5　總結(jié)\t140
第10章　競爭學(xué)習(xí)網(wǎng)絡(luò)\t141
10．1　競爭學(xué)習(xí)的基本原理\t141
10．1．1　向量的相似性\t142
10．1．2　競爭學(xué)習(xí)規(guī)則\t143
10．2　自組織映射網(wǎng)絡(luò)SOM的原理\t144
10．2．1　SOM網(wǎng)絡(luò)的生物學(xué)意義\t144
10．2．2　SOM網(wǎng)絡(luò)的結(jié)構(gòu)\t144
10．2．3　SOM網(wǎng)絡(luò)的運(yùn)行原理\t145
10．2．4　有關(guān)初始化權(quán)重的問題\t146
10．3　SOM網(wǎng)絡(luò)的Java實(shí)現(xiàn)\t147
10．3．1　SOM網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的實(shí)現(xiàn)\t147
10．3．2　SOM網(wǎng)絡(luò)的初始權(quán)值設(shè)置\t150
10．3．3　Kohonen算法的實(shí)現(xiàn)\t153
10．4　SOM網(wǎng)絡(luò)的應(yīng)用\t157
10．4．1　使用SOM網(wǎng)絡(luò)進(jìn)行動(dòng)物聚類\t158
10．4．2　使用SOM網(wǎng)絡(luò)進(jìn)行城市聚類\t161
10．5　總結(jié)\t164
第11章　PCA神經(jīng)網(wǎng)絡(luò)\t165
11．1　PCA方法概述\t165
11．1．1　PCA方法數(shù)學(xué)背景\t166
11．1．2　PCA計(jì)算示例\t167
11．2　PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法\t170
11．2．1　Oja算法\t170
11．2．2　Sanger算法\t171
11．3　基于Neuroph實(shí)現(xiàn)PCA網(wǎng)絡(luò)\t172
11．3．1　Oja算法的實(shí)現(xiàn)\t172
11．3．2　Sanger算法的實(shí)現(xiàn)\t177
11．4　使用PCA網(wǎng)絡(luò)預(yù)處理MNIST手寫體數(shù)據(jù)集\t178
11．5　總結(jié)\t181