2023-2024学年第二学期

信息论与编码（sd04630110）

注意本课程是本科生课程，与研究生课程《信息论与编码》没有关系！

上课时间及地点：你知道的

成绩：

  • 本课程会有课后作业E，课后作业请及时提交。
  • 本课程会有一次测验Q（时间另行通知）以及一次期末考试T。
  • 测验的题目将会是课后作业的微小变型，认真完成作业并理解掌握参考答案的同学将会顺利拿到好成绩。
  • 最终课业成绩的计算方法为：课程成绩 = 5% 课堂表现 + 25% * E + 20% * Q + 50% * T。
  • 无故缺席测验，其相应测验成绩 = 0，课程成绩计算方式不变。
  • 最终解释权归授课教师。

预备知识：微积分、概率论、离散数学

教学日历（即时更新）：

  • 2024年2月28日 比特和信息的含义，信源编码和信道编码的例子
  • 2024年3月1日 熵的定义，联合熵，条件熵，链式法则 【CT_zh】习题 2.1 (a), 2.4, 2.5, 2.7, 2.12 (a)-(d)
  • 2024年3月8日 互信息，相对熵与互信息，凸函数，Jensen不等式 【CT_zh】习题 2.9，2.10，2.14
  • 2024年3月13日 相对熵和互信息的非负性，信息不等式，三个变量的互信息的不存在性，互信息的链式法则，数据处理不等式，熵的组合法则 【CT_zh】习题 2.23,2.25
  • 2024年3月15日 Fano不等式，熵与组合计数，熵的上凸性质，弱大数定律 【CT_zh】习题 2.27，2.28，2.33
  • 2024年3月22日 Markov不等式，Chebyshev不等式，弱大数定律，渐近均分性（AEP），信源编码，Kraft不等式 【CT_zh】习题 3.1，3.4，3.5
  • 2024年3月27日 最优码长的界，香农码，Huffmann码 【CT_zh】习题 5.4, 5.9，5.12
  • 2024年3月29日 Huffman码的最优性，熵的公理化定义【CT_zh】习题 5.28，5.35
  • 2024年4月5日 清明节假期
  • 2024年4月10日 信道编码例子：完美信道，无用信道，打字机信道，BEC，BSC；信道容量【CT_zh】习题 7.2，7.4，7.8，7.13
  • 2023.02.21 熵的定义，联合熵，条件熵，链式法则 【CT_zh】习题 2.1 (a), 2.4, 2.5
  • 2023.02.28 比特和信息的含义，信源编码和信道编码的例子，相对熵，互信息，链式法则，Jensen不等式【CT_zh】习题 2.6,2.7，2.12
  • 2023.03.02 熵的定义及其直观解释，相对熵和互信息的非负性，三个变量的互信息的不存在性【CT_zh】习题 2.14，2.25
  • 2023.03.07 互信息的链式法则，数据处理不等式，熵的组合法则，Fano不等式【CT_zh】习题 2.27， 2.29
  • 2023.03.14 熵与组合数的关系，习题讲解 【CT_zh】习题 2.32, 2.39
  • 2023.03.16 Markov不等式，Chebyshev不等式，弱大数定律，AEP性质，典型集，信源编码 【CT_zh】习题 3.1, 3.13 (a),(b)
  • 2023.03.21 即时/前缀码，期望比特数下界，香农编码，Huffman编码 【CT_zh】习题 5.9,5.24，5.28
  • 2023.03.28 Huffman码的最优性，熵的公理化定义 【CT_zh】习题 5.16, 5.25
  • 2023.03.30 熵的公理化定义，信道编码例子
  • 2023.04.04 信道编码的例子，信道容量，极化码例子 【CT_zh】习题 7.2, 7.4, 7.8
  • 2023.04.11 极化码极化现象详解，弱极化定理
  • 2023.04.18 极化码编码算法、译码算法
  • 2023.04.23 信道编码定理，联合典型序列 【CT_zh】习题 7.13,7.23,7.33

教材：

参考资料及链接：

进阶阅读及后续课程：

信息论部分（【CT_zh】）：

  1. 绪论与概览

  2. 熵、相对熵与互信息

  3. 渐近均分性

  4. 数据压缩

  5. 信道容量

  6. 微分熵

  7. 高斯信道

编码部分（【GRS】）:

  1. The Fundamental Question

  2. Linear Codes

  3. Probability

  4. Bounds

  5. Reed-Solomon Codes

  6. Shannon’s Theorem

  7. List decoding