CARE-LoRA：通过压缩激活重建实现内存高效的 LoRA 微调

CARE-LoRA 针对 LoRA 微调中的激活内存瓶颈，利用 LoRA 分支本身的低秩投影压缩输入激活，并在前向阶段计算轻量重建矩阵，供反向传播恢复梯度信号。论文称该方法可显著降低整体内存占用，同时在多种模型和下游任务上取得不逊于标准 LoRA 的效果，代码已公开。