Mixture of Experts

混合专家模型 · 从“参数多、计算少”的稀疏前馈层出发，讲路由与门控、负载均衡与辅助损失、容量与丢词元、专家分工、细粒度与共享专家、训练稳定性，以及专家并行与 MoE 的权衡。