2022-2023学年第二学期

信息论与编码（sd04630110）

注意本课程是本科生课程，与研究生课程《信息论与编码》没有关系！

上课时间及地点：你知道的

成绩：

  • 本课程会有课后作业，课后作业无需提交，教师会按时公布参考答案。
  • 本课程会有两次小测验Q1和Q2（时间另行通知）以及一次期末考试T。
  • 小测验Q1和Q2的题目将会是课后作业的微小变型，认真完成作业并理解掌握参考答案的同学将会顺利拿到好成绩。
  • 最终课业成绩的计算方法为：课程成绩 = 15% * Q1 + 15% * Q2 + 70% * T。
  • 无故缺席任意一次小测验Q1或Q2，其相应测验成绩 = 0，课程成绩计算方式不变。
  • 最终解释权归授课教师。

预备知识：微积分、概率论、离散数学

教学日历（即时更新）：

  • 2023.02.21 熵的定义，联合熵，条件熵，链式法则 【CT_zh】习题 2.1 (a), 2.4, 2.5
  • 2023.02.28 比特和信息的含义，信源编码和信道编码的例子，相对熵，互信息，链式法则，Jensen不等式【CT_zh】习题 2.6,2.7，2.12
  • 2023.03.02 熵的定义及其直观解释，相对熵和互信息的非负性，三个变量的互信息的不存在性【CT_zh】习题 2.14，2.25
  • 2023.03.07 互信息的链式法则，数据处理不等式，熵的组合法则，Fano不等式【CT_zh】习题 2.27， 2.29
  • 2023.03.14 熵与组合数的关系，习题讲解 【CT_zh】习题 2.32, 2.39
  • 2023.03.16 Markov不等式，Chebyshev不等式，弱大数定律，AEP性质，典型集，信源编码 【CT_zh】习题 3.1, 3.13 (a),(b)
  • 2023.03.21 即时/前缀码，期望比特数下界，香农编码，Huffman编码 【CT_zh】习题 5.9,5.24，5.28
  • 2023.03.28 Huffman码的最优性，熵的公理化定义 【CT_zh】习题 5.16, 5.25
  • 2023.03.30 熵的公理化定义，信道编码例子
  • 2023.04.04 信道编码的例子，信道容量，极化码例子 【CT_zh】习题 7.2, 7.4, 7.8
  • 2023.04.11 极化码极化现象详解，弱极化定理
  • 2023.04.18 极化码编码算法、译码算法
  • 2023.04.23 信道编码定理，联合典型序列 【CT_zh】习题 7.13,7.23,7.33 教材：
  • 【H2021】2021-2022第一学期课程网页
  • 【CT_zh】《信息论基础》，Thomas M.Cover，Joy A.Thomas著；阮吉寿，张华译
  • 【CT_en】Elements of Information Theory 2nd Edition by Thomas M. Cover, Joy A. Thomas
  • 【GRS】《Essential Coding Theory》，V.Guruswami, A.Rudra, M.Sudan.
  • 【H2020】2020-2021第一学期讲义

参考资料及链接：

进阶阅读及后续课程：

信息论部分（【CT_zh】）：

  1. 绪论与概览

  2. 熵、相对熵与互信息

  3. 渐近均分性

  4. 数据压缩

  5. 信道容量

  6. 微分熵

  7. 高斯信道

编码部分（【GRS】）:

  1. The Fundamental Question

  2. Linear Codes

  3. Probability

  4. Bounds

  5. Reed-Solomon Codes

  6. Shannon’s Theorem

  7. List decoding