模型合并能改善 DiLoCo 的聚合吗？

论文将本地 SGD/DiLoCo 的伪梯度聚合与任务算术模型合并建立对应关系，并评估多种合并方法。作者发现 Iso-C 可提升 DiLoCo，进一步结合 Nesterov 动量提出 IsoLoCo；在不同本地工作节点、模型规模和内循环步数下，IsoLoCo 均优于 DiLoCo，且节点越多优势越明显。