arXiv 预印本Priyanka Nihalchandani论文86
时间序列基础模型的个性化联邦稀疏适配
原标题:Personalized Federated Sparse Adaptation of Time-Series Foundation Models
时间序列基础模型(TSFM)的联邦适配对于构建能源预测系统很有吸引力,因为电表数据具有隐私性、分布式特征以及高度非独立同分布(non-IID)特性。然而,单一的参数共享策略不太可能适用于所有预训练 TSFM 或建筑客户端:完全共享的适配器可能会抑制建筑特有的时间行为,而完全本地化的适配则会丢失跨建筑迁移能力。我们提出了一种个性化联邦稀疏适配框架,在预训练 TSFM 表征之后加入异构时间混合专家(MoE)适配器。序列级路由器将每个 168 小时的上下文窗口映射到 top-$k$ 个专家子集,这些专家分别专注于周期性、长程交互、局部变化、趋势-残差结构和多分辨率行为。我们比较了全局 FL、本地训练,以及采用全局共享或客户端私有专家库的个性化 FL 变体。在 50 栋建筑和三种 TSFM 主干模型上,个性化方法始终优于 Global FL-MoE 和 Local MoE;与此同时,表现最佳的稀疏适配策略会因主干模型和评价指标而异。路由行为进一步揭示了客户端级别的专家专门化、专家集中度以及不同主干模型之间近乎均匀的路由分布,表明联邦 TSFM 适配应同时考虑客户端特征和主干模型特征。
为什么值得读
建筑电表数据隐私与非独立同分布问题正限制TSFM落地,这项工作同时检验了跨客户端共享、个性化和稀疏路由的实际取舍。
标签
联邦学习时间序列基础模型稀疏适配混合专家建筑能耗个性化学习隐私计算