arXiv 预印本Hongbo Chen
协变量与概念漂移的通用量化框架
原标题:General Quantification of Covariate and Concept Shifts
论文73
分布偏移下的泛化仍是现代机器学习中的核心挑战,然而现有的学习界理论局限于狭隘、理想化的设定,且无法通过样本进行估计。在本文中,我们弥合了理论与实际应用之间的鸿沟。我们首先指出,当源域与目标域的支撑集不匹配时,现有的概念偏移定义就会失效。借助熵最优传输,我们提出了一个关键概念:$γ^{}!$-概念偏移,并推导出了一个统一协变量偏移与 $γ^{}!$-概念偏移的通用误差界,该界适用于广泛的损失函数、标签空间和随机标注。我们进一步开发了具有集中性保证的偏移估计器,以及 DataShifts 算法,该算法能够在大多数应用中量化分布偏移并估计误差界——这是一个用于分析分布偏移下学习误差的严谨且通用的工具。
为什么值得读
将长期难以采样的分布漂移泛化理论推进至可实测阶段,为排查模型在未知域的失效风险提供了明确的计算工具。
标签
distribution-shiftoptimal-transportlearning-theorygeneralization-boundcovariate-shiftconcept-shift