关键在解码格式，而非扰动：审计视觉语言模型测试时扩展中的一致性选择
原标题:It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling
AI 导读
论文审计视觉语言模型的扰动一致性选择 Pgs。作者在 TextVQA、MATH-Vision、MMMU 与 ViLP 上发现，Pgs 相比仅用思维链多数投票最高提升 31.8 分；但控制解码格式与预算后，使用原图短答案采样的 MatchedCtrl 在所有基准上均与其持平或更优。结果表明，扰动稳定性虽依赖图像，却不能可靠预测逐题胜负。
为什么值得读
它直接揭示视觉语言模型测试时扩展中的关键混杂变量，可避免把短答案解码带来的收益误归因于图像扰动一致性。
深度解读
1. 发生了什么
**原始事实：**论文研究视觉语言模型（VLM）测试时扩展中的候选答案选择，重点审计无需标签和训练的 Perturbation Grounded Selection（Pgs）。作者设置 MatchedCtrl，将同等推理预算用于原始图像上的短答案、无思维链采样，以隔离解码格式和预算的影响。
2. 核心技术
**原始事实：**Pgs 对输入图像进行裁剪、背景遮罩及轻微光度或几何扰动，再根据模型能否重新得到某个候选答案为其评分；扰动集合为空时，该方法退化为多数投票。MatchedCtrl 不扰动图像，但采用与 Pgs 匹配的短输出格式和采样预算。
3. 关键证据与数字
**原始事实：**摘要覆盖 TextVQA、MATH-Vision、MMMU 和 ViLP，并报告 Qwen 的三随机种子均值以及 LLaVA-OneVision 的匹配预算选择器结果。Pgs 相对仅使用思维链的多数投票，在 Qwen 的 TextVQA 上表面提升最高达 31.8 分；但 MatchedCtrl 在每个基准上都与 Pgs 持平或在噪声范围内更优。Qwen 各类别均未显示相对该控制组的显著增益。扰动稳定性差距最高达 0.48，但不能预测逐实例胜负。
4. 为什么重要
**分析：**如果基线生成长思维链，而新选择器使用更短、更直接的输出，两者差异可能来自解码格式，而非选择信号本身。该研究说明，评估 VLM 测试时扩展方法时必须同时匹配生成格式、样本数量与计算预算。
5. 实际影响
**分析：**研究者在设计自一致性、重排序或视觉验证实验时，应加入原图上的格式匹配控制。工程团队若只追求准确率与成本，也应先测试短答案多次采样和多数投票，再决定是否承担多种图像扰动及重复推理的额外开销。
6. 局限与不确定性
**原始事实：**摘要仅提到两个模型系列、四个基准和部分汇总数字，未给出具体模型版本、样本量、扰动超参数、完整置信区间或显著性检验方法。**分析：**因此目前不能判断结论能否推广到闭源 VLM、其他视觉任务或更强的学习式选择器。**未验证：**本文内容及统计细节未依据全文独立核验。
7. 原始来源
- arXiv 摘要页：https://arxiv.org/abs/2608.01207
- 来源提供的发布日期：2026-08-02T12:47:39.000Z