arXiv 预印本Wanli Qiao论文89
稳定密度脊:子空间约束均值漂移的一致性与收敛性
原标题:Stable Density Ridges: Consistency and Convergence of Subspace Constrained Mean Shift
子空间约束均值漂移(SCMS)算法是一种广受欢迎的非参数方法,用于提取密度脊线,而密度脊线可作为高维数据的低维表示。文献中普遍认为,SCMS轨迹会收敛到经典密度脊线,我们称之为“静态脊线”;该脊线通过密度梯度以及密度 Hessian 矩阵的特征值和特征向量来定义。在本文中,我们证明这一假设一般并不成立,因为静态定义未能考虑算法底层向量场的连续流过程中尾部特征子空间的旋转。为解决这一问题,我们提出范式转变,引入“稳定脊线”这一新颖的几何结构,从动力系统和投影密度梯度的雅可比矩阵视角对其进行定义。我们证明,稳定脊线才是 SCMS 算法真正的理论目标。在此基础上,我们构建了一个采用恒定步长的广义 SCMS 框架,证明了其一致的 R 线性收敛性,以及到稳定脊线的拓扑满射性。我们进一步推导了以 Hausdorff 距离衡量的稳定脊线估计收敛速率。最后,我们揭示原始 SCMS 算法具有多项式时间计算复杂度,其原因在于均值漂移算子将步长与平滑带宽隐式耦合;同时,我们展示了广义框架如何提供一种在统计上保持一致性且效率更高的解决方案。
为什么值得读
SCMS理论长期把静态密度脊当作收敛目标;这项工作改变目标定义,并同时触及算法收敛、统计一致性与计算复杂度。
标签
SCMS密度脊非参数统计动力系统流形学习收敛性聚类arXiv