在训练MoE模型时，DeepSpeed如何平衡各个专家学到的token数量？

Question

Accepted Answer

考察点：考察对DeepSpeed负载均衡策略的了解。回答思路：说明DeepSpeed使用辅助损失函数 解释如何通过梯度惩罚或显式约束平衡专家使用率 提及DeepSpeed的零优化器对负载均衡的支持

考察说明