论文指出,大语言模型强化学习中的训练不稳定,部分源于训练引擎与推理引擎分离,以及推理阶段采用低精度量化造成的训练—推理差异。作者提出ACRL,自适应将差异维持在合理范围;在FP8推理实验中,ACRL稳定训练,达到BF16基线准确率,并优于重要性采样修正。
最近 24 小时暂无可用热度快照。