arXiv 预印本Junfeng Xia
BrainTaskonomy:通过学习关系重构 fMRI 基础模型的预训练与迁移
原标题:BrainTaskonomy: Learning How to Pretrain and What to Transfer in fMRI Foundation Models
论文78
fMRI 基础模型越来越多地汇聚跨不同脑状态、队列和采集设置的异构数据,但预训练领域通常被视为扁平的混合体,且下游任务也都是独立适配的。我们研究了在不修改主干网络的前提下,测得的学习关系是否可以组织协调这两个阶段。在预训练阶段,一个轻量级的 Brain-DiT 代理模型评估了十个 fMRI 领域的难度和定向促进作用,进而构建出一种优先级引导的累积领域课程,并结合了从高到低噪声的时间步调度及联合巩固。在适配阶段,跨十五个任务的受控一阶与高阶迁移构建了一个有向任务谱系(taskonomy),预算约束整数规划(BIP)据此选出直接受监督的源任务以及特定于目标的路径。相较于在两个维度上进行均匀采样,这种优先级领域与高到低时间步的联合课程将 v-NMSE、PSD-NMSE 和 FC-MSE 分别降低了 6.5%、16.3% 和 10.5%,并在六个域内和域外任务中表现出强大的下游性能。该任务谱系揭示了非对称且依赖于目标的迁移特性,而探索性盲测评估表明,当存在高阶路径空间时,相比于匹配的随机对照组,BIP 策略能够带来更大的描述性收益。总之,这些发现支持根据测得的学习关系来组织 fMRI 的预训练和适配,而不是将领域和任务视为相互独立的扁平集合。
为什么值得读
针对高成本且异质的脑成像数据,提出了基于课程与整数规划的系统化预训练与下游迁移方案,为大模型处理生物信号提供了新解法。
标签
fMRIFoundation ModelsCurriculum LearningTransfer LearningBrain-DiTDiffusion ModelsTaskonomy