信息论是一门很安静的学问。自1948年香农发表划时代的论文“通信的数学原理”以来,他开创的以信息度量体系、信源和信道模型和典型性作为基础的范式就一直统治着这个理论研究的王国。虽然历经了60余年,信息论研究由经典的点到点模型拓展到多用户场景,并产生了诸多问题上的演进,但是基本的数学方法却一直保持了良好的一致性。从这个意义上来说,信息论有着自己的研究格调和“方法论”。作为统计数学的一个分支,信息论圈子更像一个数学研究者的社区,学者们也在数学证明的精妙细节中体验着纯学术的乐趣。
但信息论同时又是一门非常“入世”的学问。在其60多年的历史中,产生了非常多意义非凡的实用技术。特别值得一提的是,这些贡献大多数来自于信息论经典范式中“可达性”(Achievability)证明中构造性过程,例如LDPC码、连续干扰抵消、叠加编码、污纸书写编码等等,都是来自于可达性证明中的“巧思”。一门数学理论能够产生如此多深远而重大的实际影响绝非幸致,香农建立的对信息系统的抽象方法是其成功的基础。而典型性则为技术克服信源和信道随机性提供了强大的数学工具,使得信息论可以获得对于通信和信息系统性能边界的强大分析能力。
在我国电子信息类的本科和研究生课程体系中,“信息论”一般是作为专业基础课开出的,为绝大多数毕业生储备了相关的基础知识。随着我国由信息产业的制造大国迈向信息技术的强国,需要更多的工程和研究人员不仅了解如何实现技术(Know-how)更需要知道为什么这样做(Know-why),从而具备原始的创新能力。我们的愿望是,信息论这门课就会发挥这个重要的作用。
本课程使用VR实景拍摄,期待给你带来全新的在线课程体验!
Overview
Syllabus
- VR视频宣传
- 课程VR视频宣传片
- 第〇章 绪论
- 课程概述
- 信息是什么
- 信息论产生的背景
- 信息论的贡献
- 香农其人其事
- 第一章 信息论的基本概念
- 信息熵
- 互信息
- 鉴别信息
- 熵、互信息、鉴别信息的凸性
- Fano不等式与数据估计
- 连续随机变量的熵和互信息
- 第二章 信源与信源无失真编码
- 渐进等同分割性质
- 定长编码定理
- 码的类型
- 前缀码约束条件-Kraft不等式
- Huffman编码及其最优性
- 第三章 信道及其容量
- 信道容量的定义和性质
- 离散无记忆信道的容量
- 信道的组合
- 连续信道的容量
- 模拟信道容量
- 信道编码
- 第四章 信息速率失真函数与熵压缩编码
- 问题的提出
- 率失真理论的基本概念
- 率失真函数的性质
- 率失真函数的计算
- 率失真定理的证明
- 第五章 最大熵原理与最小鉴别信息原理
- 最大熵原理与最小鉴别信息原理
- 复习提纲
- 复习提纲
- 期末考试
Taught by
Lin Zhang and