信息论：不确定性能不能被量化、压缩、穿过噪声

WARNING

🧪 Beta公测版本提示：教程主体已完成，正在优化细节，欢迎大家提Issue反馈问题或建议。

侧栏 信息论 不再只有香农一章。机器学习用的交叉熵 / KL 仍在 信息论精简；本领域是通信问题：熵是平均惊喜，互信息是看见 $Y$ 之后 $X$ 还剩多少不确定，容量是可靠通信的速率上界。点分组标题进本页。下游把比特换成量子比特，见 量子信息。

图解说明：基础（熵、条件熵、互信息）→ 信道（BSC、容量、AWGN）→ 编码（Huffman、Hamming）→ 率失真。ML 精简章用同一套量写损失，不要和本领域的编码定理混读。

入口	在问什么
信息论导论	bit 是什么；本领域与 ML 精简章怎么分
熵与条件熵	$H(X)$、$H(X\mid Y)$、链规则
香农信息论	通信模型、互信息、BSC 容量
信源编码	Huffman；平均码长 $\ge$ 熵
信道编码	Hamming(7,4) 对 BSC
高斯信道	$C=\frac{1}{2}{\log }_2(1+\mathrm{SNR})$
率失真	允许失真 $D$ 时最少要多少比特