当不可信Token被强化：面向尾部风险的LLM强化学习信用校准

论文指出，GRPO等无critic强化学习方法把同一优势值广播给轨迹中的所有Token，可能让低概率且语境错误的尾部Token获得与合理Token相同的正向强化。作者提出TACO，结合局部生成上下文估计尾部风险，并调节高风险Token的正信用，同时保留可复现稀有模式的学习空间。在3个LLM和8个基准上的实验显示，TACO相较GRPO式基线提升训练稳定性与持续性能。