LACE-SVD针对大语言模型低秩压缩中的两个问题提出改进：按层压缩通常忽略损失敏感度，局部近似误差还会沿残差流累积。方法利用校准集负对数似然估计层级压缩损失，优化秩预算分配，并对残差流输出模块进行闭式传播感知校正。在压缩比0.6时，LLaMA-7B在WikiText-2上的困惑度为32.57，优于Dobi-SVD的46.18。
最近 24 小时暂无可用热度快照。