MoE（混合专家模型）中 GATE（路由/门控）的数量取决于什么？

Question

Accepted Answer

考察点：考察对混合专家模型架构中门控机制与专家数量关系的理解。回答思路：明确门控通常与专家数量一一对应 解释门控的输入与输出维度 说明门控数量的选择与计算开销和模型容量相关 能区分共享门控或多层门控的不同设计

考察说明