Reason, Reward, Refine：用结构化反馈纠正小语言模型的物理推理逐步错误

论文提出一种面向小语言模型物理推理的逐步奖励框架：训练时定位首个推理错误，生成针对性结构化反馈，并通过带KL正则的策略梯度让模型修订答案，无需把标准解作为生成目标，也无需构建偏好数据。摘要称其在五个物理基准上较CoT提升17–20%，计算错误由56.9%降至23.5%，但概念错误仍由89.7%仅降至68.7%。