EPnG：面向参数高效 MoE 微调的自适应专家剪枝与增长

EPnG 针对 MoE 微调中专家冗余与 LoRA 容量分配不均的问题，依据路由器门控概率评估专家重要性，在固定参数预算下剪枝低利用率专家，并通过正交初始化扩展高重要性专家。在 OLMoE 与 Qwen1.5-MoE 上，更新参数仅占 0.55%–0.72%，摘要称其优于同预算 LoRA，性能接近全量微调。