论文研究参数空间显著不同的大语言模型能否直接加权平均合并。作者提出免训练的维度适配与比例控制:将较小模型扩展到较大空间,或截断较大模型。Qwen模型实验显示,小比例插值可转移互补能力并超过部分源模型,但接近均衡的合并常导致性能崩溃,且不同任务间存在明显跷跷板效应。
最近 24 小时暂无可用热度快照。