信息论与编码

      本门课讲授信息论的基本概念，包括信息的度量单位熵、互信息、各种典型信道的容量，包括二进制对称信道、二进制删除信道、加性高斯白噪声信道等。建立在以上信息论基础知识之上，本课程将进一步讲授信源编码和信道编码的概念和操作。信源编码着眼于信息的表达，课程将讲解信源编码的极限和若干种常用的信源编码，包括最优信源编码理论和哈夫曼编码。信道编码着眼于信息的传输，课程将讲解若干种典型的信道编码，从介绍分组码和卷积码两大基本纠错码分类入手，逐步展开探讨具体的编码实现，包括汉明码、卷积码、格编码调制、Turbo码和RS码等。其中，关于卷积码本课程会着重于介绍其Trellis表达、系统编码、维特比译码、BCJR译码算法以及它与格编码调制的关联。Turbo编码作为一类重要的现代码，本课程将详细教授其编码方式和迭代译码算法。此外，本课程还将讲授RS码的理论基础、编码方式以及两种重要的译码思想，包括基于校正子的译码和基于插值的译码。