RegionFed：异构零售搜索场景下的个性化查询理解联邦学习框架

零售搜索系统服务于不同的地理区域，这些区域具有独特的查询模式、词汇和商品偏好，从而产生了显著的数据异质性，对隐私保护训练和模型个性化均构成了挑战。联邦学习为隐私保护提供了天然的解决方案，但标准的联邦学习方法生成的全局模型会牺牲区域性能；而已有的个性化联邦学习方法在参数级别运作，且由于绑定嵌入（tied embeddings）和 LayerNorm 的相互作用，在现代 Transformer 上会出现灾难性崩溃（在 T5 上的准确率低于 10%）。我们提出了 RegionFed，一种具有 \textit{架构鲁棒性} 的联邦学习框架，通过完全在梯度级别运作来规避这一失效问题。RegionFed 将区域梯度与全局梯度之间的 $\ell_2$ 冲突作为统一信号，以实现：(i) 诊断异质性，(ii) 将每个区域路由至开销最低且充分的个性化策略，以及 (iii) 自适应控制个性化强度。由于将模型视为可微黑盒，RegionFed 可以在零代码改动的情况下部署于 T5-Small、T5-3B、RoBERTa 和 CNN，在 Transformer 上带来大幅增益（参数级方法在此类模型上会崩溃），并在 CNN 上取得一致的性能提升。在三个公开数据集（Amazon ESCI、Amazon Reviews、LEAF-FEMNIST）和四种架构上，RegionFed-Meta 达到了 92.27%，弥合了与侵犯隐私的集中式上限（集中式 + 区域加权：92.04%，$Δ$=0.23pp，在 1$σ$ 误差范围内）的差距，同时提供了 $(ε{\approx}0.60)$-差分隐私和 $\mathcal{O}(1/\sqrt{T})$ 的收敛速度。