用于多轮推理的链式递归语言模型

大型语言模型（LLM）的长上下文推理通常受到以下事实的限制：单条推理轨迹必须同时探索上下文、存储中间状态、验证证据并生成最终答案。对于需要提取、计数、排序或多跳推理的任务，这一问题尤其棘手，因为早期错误可能一直传播到最终响应。

在本文中，我们提出了链式递归语言模型（Chained Recursive Language Models，Chained RLM），这是一种推理时架构。在该架构中，同一个底层模型会被反复调用，每次调用都作为一条全新的推理根节点。每个根节点都会接收原始问题和上下文，但不会继承完整的对话历史。相反，它会接收一份简洁的纯文本摘要、一块纯文本黑板，以及由前序根节点写入的若干持久化任务专用工件。其动机在于，通过将上下文拆分为部分任务来管理上下文，而不是生成一次庞大的推理响应；在每个分阶段计算过程中，后续对同一模型发起的新鲜推理都可以检查、纠正并扩展中间工件。我们介绍了该系统的模型、交接机制、工件工作区以及评估协议。我们研究了这种基于新鲜上下文的工件延续机制，何时能够在即使采用递归工具调用的情况下，相较于直接让 LLM 作答仍带来可测量的准确率提升。