信息论精简 — 练习

Download exercise.py

实现离散 $\mathrm{KL}(p\parallel q)=\sum _i{p}_i\log (p_i/q_i)$（对 $q$ 做 eps 裁剪）。

cd docs/math/information/code
python exercise.py

源码位置

clone 后打开（相对仓库根目录）：

docs/math/information/code/exercise.py