微软亚洲研究院开源 Agent Lightning：以 3500 行代码打通真实运行架构的强化学习框架

一览 Harnessed Agentic RL：微软亚洲研究院提出了一种训练范式，使部署中使用的同一个智能体 harness 直接参与强化学习，从而无需在训练框架内重新实现智能体。极致轻量：Agent Lightning v1.0 仅用约 3500 行代码就提供了完整的智能体 RL 控制平面。原生 Kubernetes 支持：智能体可作为标准 Kubernetes 作业在自建集群、云端 Kubernetes 或本地基础设施上运行，无需依赖付费的商业沙箱服务。数据高效的训练方案：基于开源数据集构建的端到端编程智能体流程，仅使用约 6000 个训练样本，就将 Qwen3.5-9B 在 SWE-bench Verified 上的 Pass@1 从 41.8% 提升至 56.4%，绝对增益达 14.6 个百分点。

AI 智能体已经从单一模型演进为由模型、工具和执行环境构成的复杂全栈系统。其能力越来越取决于在模型外部协调它们运行的智能体 harness。强化学习（RL）是一种让 AI 系统在动作奖惩机制的引导下通过试错进行学习的方法。RL 可以让这些智能体变得更强，但大多数智能体 RL 系统都要求开发者在训练框架内重新实现该智能体。这种做法成本高昂，而且意味着被训练的智能体与实际部署的智能体并不完全一致。为了解决这一问题，微软亚洲研究院的研究人员提出了 Harnessed Agentic RL 训练范式，并开源了全面重构的 Agent Lightning v1.0 (opens in new tab) 。与最初版本相比，Agent Lightning v1.0 更加注重轻量化、与真实 harness 的集成，以及提供完整且可复现的智能体 RL 训练流程。

Agent Lightning v1.0 围绕 Harnessed Agentic RL 进行了全面重构，主要改进包括：

轻量化：整个框架仅约 3500 行代码。Agent Lightning v1.0 以清晰易懂的小巧代码库实现了一套完整的 Harnessed Agentic RL 系统，便于理解、修改和扩展。

基于真实智能体 harness 训练：智能体通过 Agent Lightning v1.0 中的大语言模型（LLM）代理访问模型，现有的 harness 代码保持原样无需修改。

原生 Kubernetes 支持：智能体可直接作为 Kubernetes 作业运行，无需外部商业沙箱服务。无论是自建集群还是本地基础设施，均能支持大规模的展开采样（rollout）。

完整的编程智能体训练范例：基于 Qwen3.5-9B 构建的端到端流程，仅使用约 6000 个训练样本，便将 SWE-bench Verified 上的 Pass@1 从 41.8% 提升至 56.4%，绝对增益达 14.6 个百分点。

传统智能体 RL 的局限性

传统智能体 RL 预设训练框架拥有与环境交互的主循环。在 ReAct 风格的循环中，模型生成动作，环境返回观测，观测被追加到上下文中，随后模型生成下一个动作，因此整个展开过程都映射在一条连续的 token 轨迹上。早期 RL 系统（如 verl、AReaL 和 slime）均采用这种方式构建，这意味着训练智能体必须在 RL 框架内重建其循环逻辑。

然而，真实的 harness 已经超越了这一假设。例如 mini-SWE-agent、OpenHands、OpenCode、Claude Code 和 Codex 等编程智能体，以及通用智能体系统，各自都拥有独立的上下文管理、工具协议、执行逻辑和依赖项。为了训练而重写一套逻辑成本高昂，且重建后的智能体在行为表现上可能无法与实际部署的智能体保持一致。

Agent Lightning 另辟蹊径。它在智能体与模型之间设置了一个 LLM 代理。智能体可以像以往一样继续运行：只需将原先调用模型 API 的端点指向 Agent Lightning，训练框架便能观察并记录其模型调用。在 v1.0 中，研究人员更进一步，将这种范式正式定义为 Harnessed Agentic RL：无论何种智能体