Skip to content

混合专家 MoE — 练习

Download exercise.py

实现 topk_gate(probs, k):选出概率最大的 k 个专家,并把这 k 个概率重新归一化成门控权重。

bash
cd docs/nn-decision/dl/moe/code
python exercise.py

源码位置

clone 后打开(相对仓库根目录):

docs/nn-decision/dl/moe/code/exercise.py