阅读原文
arXiv 预印本Orazio Pontorno论文88

HexMIL:用层级注意力实现可解释的 AI 篡改 CT 体检测

原标题:HexMIL: Hierarchical Attention MIL for Ante-Hoc Explainable Detection of AI-Manipulated CT Volumes

医学深度伪造,即通过深度生成模型操纵医学图像,对临床工作流程构成了重大威胁。然而,现有检测器存在两个关键局限:对未见过的生成架构进行篡改检测时泛化能力较差,以及缺乏可解释性。在此背景下,我们提出了 HexMIL(分层可解释多实例学习,Hierarchical EXplainable Multiple Instance Learning),这是一种无需掩码的医学深度伪造检测器,仅使用二值体积级监督即可同时解决上述两个局限。HexMIL 将每个 CT 体积分解为由图像块和切片组成的两级层次结构,并通过相互独立的门控注意力模块进行聚合;随后将这些模块的权重直接结合为全分辨率 3D 注意力体积,在无需任何像素级标注的情况下定位被篡改的子区域。不同于 Grad-CAM 等事后解释方法,HexMIL 的注意力权重构成了驱动分类决策的精确前向计算,因此能够提供事前且在结构上忠实的空间归因。我们在 M3DSynth 和 CT-GAN 数据集上,采用严格的跨生成器泛化协议对 HexMIL 进行了评估:使用单一生成架构进行训练,并在未见过的生成架构上进行测试。在域外分类任务中,HexMIL 相较所有基线方法的 AUC 提升了 $+9.1$,F1 提升了 $+9.4$;在定位任务中,其平均 IoU 和 Pointing Game 得分均达到最佳。项目主页:opontorno.github.io/hexmil。

为什么值得读

医学影像深度伪造正进入临床安全边界,而该工作同时检验了未知生成器泛化与无需像素标注的定位能力。

标签

medical imagingdeepfake detectionCTMILexplainabilityattentiongeneralization