Semigroup-JEPA：基于隐空间动力学一致性的零样本物理泛化

Summary of Thoughts

我一直在思考，联合嵌入预测架构（JEPA）世界模型虽然能够学习紧凑的潜在表征用于预测和规划，但其学习物理规律并生成符合物理真实动力学的能力仍未得到充分验证。因此，我提出了 SemiGroup-JEPA（SG-JEPA），它扩展了 LeWorldModel 框架。通过动作条件化将控制物理规律的参数引入时序模型，并利用自回归潜在展开联合训练编码器和预测器。为了评估模型在分布外泛化（OOD）的能力，我设计了一系列不同重力场下的动力学任务，这些任务虽然遵循相同的物理规律，却表现出显著不同的动力学特性，从弱重力场中的漂浮运动到强重力场中的快速弹跳。与 DINO-WM 相比，SG-JEPA 在二维数据集上开环预测误差最多可降低 2 倍，在三维机器人数据集上（我为其训练了独立的扩散策略）控制成功率最高可提升 2.5 倍。为了理解这一优势，我构建了一个线性特征模型，将受局部物理规律约束的误差与其在展开中的递归放大解耦。在这一模型的指导下，我发现将多步展开损失反向传播到表征中，能够训练编码器保留预测器能够向前传递的特征，而这些正是动力学所依赖的关键特征。因此，大部分性能提升源于编码器学习了更优的特征，而非预测器学习了更优的动力学。了解更多信息，请访问项目主页：https://sg-jepa.github.io。

联合嵌入预测架构（JEPA）世界模型能够学习世界的紧凑潜在表征以支持预测与规划，但其学习物理规律并生成符合物理真实的动力学特性的能力至今仍未得到检验。在本研究中，我们提出了 SemiGroup-JEPA（SG-JEPA），该方法扩展了 LeWorldModel 框架：通过动作条件化（action-conditioning）将决定物理规律的参数提供给时序模型，并通过自回归潜在展开（autoregressive latent rollout）联合训练编码器与预测器。为了评估模型的分布外泛化能力，我们设计了不同重力场下的动力学任务；这些任务尽管遵循相同的物理规律，却表现出截然不同的动力学行为，涵盖从弱重力场中的漂浮运动到强重力场中的快速弹跳。与 DINO-WM 相比，SG-JEPA 在二维数据集上将开环预测误差降低了最高达 2 倍，并在三维机器人数据集（我们为此训练了独立的扩散策略）上将控制成功率提升了最高达 2.5 倍。为了解释这一优势，我们构建了一个线性特征模型，将以局部规律为条件的误差与其在展开过程中的递归放大分离开来。在该模型的指引下，我们发现将多步展开损失反向传播到表征中，可以训练编码器保留预测器能够向前延续的特征，而这些特征正是动力学所依赖的；因此，大部分增益来自于编码器学到了更优的特征，而非预测器学到了更优的动力学。项目主页见 https://sg-jepa.github.io。