使用冻结自蒸馏特征进行CT病灶检测:空间自适应标签引导温度 SALT
原标题:Lesion Detection in CT with Frozen Self-Distilled Features: SALT, a Spatially Adaptive Label-Guided Temperature
自监督预训练目标在空间上是均匀的:教师温度和每个图像块的损失权重在整幅图像中处处相同,因此,一个仅有几个图像块宽的病灶对训练信号的贡献并不比周围的实质组织更多。以往工作会使视图偏向已标注区域,这改变了模型所看到的内容,却没有给目标函数增加任何约束。相较之下,我们对自蒸馏的目标进行条件化,并将该方法称为 SALT(Spatially Adaptive Label-guided Temperature,空间自适应标签引导温度)。仅在预训练期间可用的弱框 derived 标签,会在编码器的图像块网格上定义一个紧凑区域;在该区域内,教师的 softmax 温度被调低以使分布更尖锐,同时对掩码图像块的损失进行加权。除此之外,目标函数、掩码策略和中心化统计量均保持不变;在所有下游使用场景中,编码器都是一个不带标签、也不接受条件输入的普通特征提取器。我们通过冻结编码器、仅训练一个轻量级的多深度 CenterNet 风格检测头进行评估,在四个 CT 队列中开展三维病灶检测;同时,我们以一个在架构、预训练数据、训练计划和标签引导裁剪方面完全相同、但不进行目标条件化的骨干网络为对照,单独分析该机制的作用。我们报告图像块级可分性、按队列和病灶大小分层的三维检测结果、框质量,以及一种无需检测器的探针实验:在不进行配准、不使用掩码且不微调的情况下,利用单个冻结的图像块嵌入,在随访扫描中重新识别病灶。由于这种条件化通过空间指示变量表达,而不是通过标签语义表达,因此该方法可以接收任意弱空间标注;我们以病灶为对象对其进行了实例化和验证。
为什么值得读
它把弱空间标注直接注入自蒸馏目标而非仅改变裁剪视图,适合关注小病灶表征学习;但具体增益仍需等待正文中的定量结果验证。