HuggingFace 每日论文Yifan Shen
ChronoVision:通过潜在状态重建进行时间推理
原标题:ChronoVision: Temporal Reasoning via Latent State Reconstruction
论文86
ChronoVision提出一种面向多模态大模型时间推理的框架:训练阶段用重构视觉头预测变换后的最终潜在状态,并通过ROI注意力定位关键视觉证据;后训练阶段采用结合结果正确性、潜在过程对齐和视觉聚焦的复合奖励。论文同时发布Vbvr-VQA图像排序数据集,在域内、域外分别达到74.8%和71.6%,并在IntPhys2上取得55.0%。
为什么值得读
论文把连续视觉变化转化为潜在状态预测,并报告跨域结果,值得及时关注其能否缓解多模态模型的时间推理瓶颈。
标签
多模态推理时间推理视觉状态重建强化学习VQA跨域泛化ChronoVisionIntPhys2