2020-2021学年第一学期

信息论与编码（sd04630110）

注意本课程是本科生课程，与研究生课程《信息论与编码》没有关系！

上课时间及地点：周二、四 3-4节，1-12周上课，振声苑N202 （因疫情原因，自第6周起线上上课）

成绩：本课程会有几次课后作业和一次期末考试。最终成绩将由平时作业(30%) 和期末考试(70%) 综合得出。

学术诚信：

• 课堂作业必须独立完成。禁止抄袭其他同学的解答方法或者思路。禁止从互联网等资源查找具体题目的具体解决办法。
• 你提交的作业代表你自己的原创作品，你必须对解题方法有充分的理解，你必须能够当面复述解释你的答案。
• 你可以与其他同学讨论题目的解答思路，但你必须自己完全理解并独立完成你的作业，并且必须在你的作业中致谢提供过帮助的同学。
• 你可以使用公共书面资源：书籍、科研论文、互联网文档等帮助理解课程的概念内容，但不包括具体题目的具体解答思路方法。 如果你在答案中使用了任何此类资源，必须适当地引用和标记。
• 如作业中出现措辞含糊以及错误的情形，请及时与授课教师联系。
• 如果你对题目的理解有困难，可以与授课教师或助教联系。老师或助教可以帮你指出正确的思考方向而不透露具体的解答方法。
• 如授课教师发现有雷同作业，并且没有明确的引用或致谢关系，授课教师可以要求有关同学当面复述并解释自己的答案。

教材：

• 【CT_zh】《信息论基础》，Thomas M.Cover，Joy A.Thomas著；阮吉寿，张华译
• 【CT_en】Elements of Information Theory 2nd Edition by Thomas M. Cover, Joy A. Thomas
• 【GRS】《Essential Coding Theory》，V.Guruswami, A.Rudra, M.Sudan.

参考资料及链接：

• Madhu Sudan, Information Theory in Computer Science (Harvard CS 229r, Spring 2019)
• 经典文献：C. E. Shannon, A mathematical theory of communication
• Y. Polyanskiy, Y. Wu, Lecture notes on Information Theory, MIT (6.441), UIUC (ECE 563), Yale (STAT 664), 2012-2017.
• 纪录片：Claude Shannon - Father of the Information Age
• 纪录片：The Bit Player - Who is Claude Shannon
• 网站：Information Theory Society
• 网站：Simons Institute for the Theory of Computing

进阶阅读及后续课程：

• Simons-Berkeley Program on Information Theory
• Network Information Theory by Abbas El Gamal, Young-Han Kim
• Modern Coding Theory by Tom Richardson, Rüdiger Urbanke

预备知识：微积分、概率论、离散数学

大纲：

信息论部分（【CT_zh】）：

1. 绪论与概览

2. 熵、相对熵与互信息

3. 渐近均分性

4. 数据压缩

5. 信道容量

6. 微分熵

7. 高斯信道

编码部分（【GRS】）:

1. The Fundamental Question

2. Linear Codes

3. Probability

4. Bounds

5. Reed-Solomon Codes

6. Shannon’s Theorem

7. List decoding