损失函数看不见基底，但 Adam 看得见

论文研究矩阵分解 W=UVᵀ 中优化器如何选择隐式解。作者指出，损失的规范对称性允许基底变换，但 Adam、RMSProp 等逐坐标方法不具备相应的规范等变性，因此会破坏梯度流的低秩偏置；梯度下降、Muon、Shampoo 和共享标量 Adam 则保留该性质。矩阵感知实验、Transformer 初始化对比及高光谱数据结果支持“各向异性决定恢复偏置”的结论。