线性推荐模型的正则化图景：统一范数框架与低秩闭式解

最近，许多受深度学习技术启发的推荐算法在若干标准推荐基准上脱颖而出，成为性能领跑者。尽管这些算法基于不同的深度学习技术（例如 dropout、自编码器），但它们却拥有相似的性能，甚至相似的代价函数。本文探讨了这些模型相近的表现究竟纯属巧合，还是可以在单一框架下实现统一。

我们发现，所有性能领先的线性模型实质上都只引入了基于核范数的正则化项，或基于 Frobenius 范数的正则化项。前者具有一种（令人惊讶的）刚性结构，限制了模型的预测能力，但其解具有低秩性且存在闭式解。后者表达能力更强，在推荐任务中更高效，但其解要么是满秩的，要么需要运行难以调优的数值计算过程（如 ADMM）。基于这一发现，我们通过精心推广基于 Frobenius 范数的正则化项，进一步提出了两种低秩的闭式解。新方案兼取了核范数与 Frobenius 范数两者的优势。