信息論及其應用

第一章緒論
第二章 熵和互信息
§2.1 離散信源的熵和信息量
2.1.1 事件的互信息
2.1.z條件互信息和聯(lián)合事件的互信息
2.1.3 事件的自信息
2.1.4 離散隨機變量的平均自信息——熵
2.1.5 熵的性質(zhì)
2.1.6 隨機變量的相對熵和平均互信息
2.1.7 馬爾可夫鏈和數(shù)據(jù)處理定理
§2.2 連續(xù)隨機變量的互信息和微分熵
2.2.1 連續(xù)隨機變量的互信息
2.2.2 連續(xù)隨機變量的熵——微分熵
2.2.3 微分熵的極大化
§2.3 凸函數(shù)和互信息的凸性
2.3.1 凸函數(shù)的概念和性質(zhì)
2.3.2 Kuhn-Tucker條件
2.3.3 互信息的凸性
§2.4 平穩(wěn)離散信源
2.4.1 平穩(wěn)離散信源一般概念
2.4.2 平穩(wěn)信源的熵
2.4.3 馬爾可夫信源
§2.5 隨機過程的信息量和熵
習題
第三章 離散信源的無錯編碼
§3.1 AEP性質(zhì)和離散無記憶源（DMS）的等長編碼
3.1.1 AEP性質(zhì)
3.1.2 離散無記憶源的等長編碼
§3.2 離散無記憶源（DMS）的不等長編碼
3.2.1 Kraft不等式
3.2.2 不等長編碼定理
3.2.3 最佳不等長編碼（Huffman編碼）-."
3.2.4 其他不等長編碼方法
3.2.5 Shannon編碼的競爭最佳性（Competitiveoptimality）
§3.3 平穩(wěn)信源和馬爾可夫信源的編碼定理
3.3.1 平穩(wěn)信源的編碼
3.3.2 馬爾可夫信源的編碼
習題
第四章 離散無記憶信道（DMC）的容量和編碼定理
§4.1 離散無記憶信道（DMC）及其容量
4.1.1 信道容量的定義和例子
4.1.2 離散無記憶信道（DMC）的容量定理
4.1.3 對稱離散無記憶信道容量的計算
4.1.4 轉移概率矩陣可逆信道的容量計算
4.1.5 離散無記憶信道（DMC）容量的迭代計算
§4.2 信道的組合
4.2.1 積信道（平行組合信道）
4.2.2 和信道
4.2.3 級聯(lián)信道
§4.3 離散無記憶信道（DMC）的編碼定理
4.3.1 幾個有關定義
4.3.2 聯(lián)合典型列對
4.3.3 信道編碼定理
4.3.4 Fano不等式和逆編碼定理
4.3.5 具有反饋的離散無記憶信道的容量
4.3.6 信源一信道聯(lián)合編碼
習題
第五章 高斯信道
§5.1 高斯信道概念
5.1 l高斯信道的容量
5.1.2 高斯信道編碼定理
5.1.3 高斯信道編碼定理之逆
§5.2 帶限信道
§5.3 平行高斯信道
§5.4 有色高斯噪聲信道
§5.5 具有無噪反饋的高斯信道
5.5.1 無記憶高斯信道上無噪反饋通信
5.5.2 一階自回歸高斯信道上無噪反饋通信
習題
第六章 率失真理論
§6.1 率失真函數(shù)的定義
§6.2 簡單信源的率失真函數(shù)計算
6.2.1 貝努利信源
6.2.2 高斯信源
6.2.3 高斯矢量信源
§6.3 率失真函數(shù)的性質(zhì)
6.3.1 R（D）的定義域（O，Dmax）
6.3.2 尺（D）的向下凸性
6.3.3 R（D）是單調(diào)遞減的連續(xù)函數(shù)
§6.4 率失真函數(shù)R（D）的參數(shù)表示式
§6.5 率失真函數(shù)的迭代計算
§6.6 限失真信源編碼定理
習題
第七章 多用戶信息論
§7.1 多用戶信息傳輸系統(tǒng)模型
7.1.1 多元接入信道
7.1.2 廣播信道
7.1.3 串擾信道
7.1.4 中繼信道
7.1.5 相關信源的編碼和譯碼
§7.2 推廣的聯(lián)合典型序列及聯(lián)合AEP性質(zhì)
§7.3 多接入信道
§7.4 廣播信道
7.4.1 廣播信道的定義
7.4.2 退化的廣播信道
§7.5 相關信源的源編碼
習題
第八章 密碼學理論
§8.1 古典密碼學
8.1.1 古典密碼的例子
8.1.2 古典密碼的破譯
§8.2 基于信息論的密碼學理論
8.2.1 密碼系統(tǒng)理論安全性測度
8.2.2 密碼系統(tǒng)的實用安全性
§8.3 DES系統(tǒng)
8.3.1 DES系統(tǒng)加密、解密運算的基本步驟
8.3.2 DES系統(tǒng)中密鑰的選取
……
第九章 最大信息原則和最大熵譜估計
第十章 類型理論及其應用
第十一章 Kolmogorov復雜性理論
參考文獻