哪个模态在做决定？多模态大语言模型的反事实模态归因

论文提出反事实模态归因（CMA），用耦合扩散先验生成图像单模态、文本单模态和联合多模态反事实输入，再借助基于Shapley值的合作博弈计算模态贡献。作者在受控合成基准和真实临床多模态数据集上评估，报告受控案例中识别决策主导模态的准确率达98%，并发现仅看预测准确率无法暴露的跨模态推理失败。