以 $Q$-聚合调和通用学习与一致学习的最优收敛界

我们研究了在有界响应下以超额均方误差为指标的回归问题。当比较类有限时，该设定被称为模型选择聚合（model selection aggregation），且要达到极小极大超额风险需要使用非恰当学习算法（improper learning algorithms）。与此相反，在通用学习框架中并不需要非恰当性，因为简单的经验风险最小化即可达到可能的最优指数学习率。因此，这两个框架给出了不同的最优算法原则。这引出了关于“两全其美”（best-of-both-worlds）保证的问题：极小极大率和通用指数率能否通过同一种算法同时实现？对于有限假设类，我们对此给出了肯定的回答，证明了已知能达到极小极大最优尾部的 $Q$-聚合估计器可以实现指数通用率。而广泛的其他估计器和算法原则（经验风险最小化、序列平均、剪枝和星型估计）均无法兼顾两者。对于可数无限假设类，我们给出了否定的回答，证明了在实现指数通用率与极小极大一致率之间存在内在的权衡取舍。通过使用 $Q$-聚合将来自两种体系的最优算法相结合，可以精确刻画这一权衡关系。除这些结果外，我们还证明了关于平方损失学习中通用率的若干附加结构性结果。