权重调整梯度揭示大语言模型中的参数重要性与失效模式

论文提出权重调整梯度（WAG），将参数权重与一阶梯度结合，用于估计大语言模型中的参数重要性。作者报告称，WAG能发现一小部分对模型性能极其关键、其修改会导致显著退化的参数，并应用于专家分配、参数级遗忘、混合精度量化和知识编辑层选择。