从视频中自监督学习结构化动力学

该论文提出结构化动力学模型（SDM），利用冻结的预训练图像视觉Transformer特征，通过未来特征预测分离主导时间变化与残余动力学，以区分摄像机运动和物体运动。模型结合真实视频自监督训练与Kubric弱监督，在ProbeMotion合成及真实视频评测中优于CLS或平均池化基线，并在部分探针上接近强监督的VGGT。