权限被拒：强化环境中编码智能体的策略分级评测
原标题:Permission Denied: Policy-Graded Evaluation of Coding Agents in Hardened Environments
AI 导读
论文称在 Terminal-Bench 2.1 上，以企业常见安全限制构成嵌套策略等级，评测了 12 个编码智能体。最严格策略下，成功率最多下降 18.3 个百分点，成本最高增加 167.3%；成功率保持与效率损失并不一致。作者还发布了开源强化插件 Boundary-Bench，但该条目日期为 2026 年 8 月，当前无法独立核验。
为什么值得读
企业编码智能体正实际面对凭证、网络与文件系统限制，该研究直接量化安全强化对成功率和成本的不同影响。
深度解读
1. 发生了什么
**原始陈述：**作者称使用 Terminal-Bench 2.1，在由企业常见安全控制构成的嵌套策略等级下评测了 12 个编码智能体，并发布开源插件 Boundary-Bench。
2. 核心技术
**原始陈述：**策略约束包括作用域凭证、受限外网访问、只读文件系统和非 root 执行。Boundary-Bench 用于给 Terminal-Bench 及兼容基准加入分级强化策略。
**分析：**这种设计把“模型能否解决任务”与“模型能否在组织政策允许的操作范围内解决任务”区分开，更接近企业部署条件。
3. 关键证据与数字
**原始陈述：**研究覆盖 12 个编码智能体；在最严格策略下，成功表现最大下降 18.3 个百分点，成本最高增加 167.3%。作者还称，最能保持成功率的模型同时出现最大效率损失。摘要未给出各模型名称、完整基线、置信区间或逐任务结果。
4. 为什么重要
**分析：**宽松沙箱中的排行榜可能无法预测强化环境中的真实表现。成功率和成本排序不一致，意味着企业不能仅凭单一基准总分选择编码智能体，还需按自身安全政策复测。
5. 实际影响
**分析：**平台团队可将类似策略分级加入采购评估、回归测试和上线门槛，并分别监控成功率、成本、超时和错误解答。对智能体开发者而言，权限失败后的快速识别、替代路径规划和提前终止可能成为重要优化方向。
6. 局限与不确定性
**原始陈述：**作者称已验证严格策略下的任务可解性，以区分模型失败与政策本身封锁任务。
**未核验信息：**给定发布日期为 2026-08-02，晚于当前时间；因此论文内容、arXiv 编号、代码发布状态及所有实验数字目前无法独立确认。摘要也不足以判断策略实现是否忠实对应真实企业环境，或结果能否推广到 Terminal-Bench 之外。
7. 原始来源
- arXiv 摘要页（用户提供，当前无法独立核验）：https://arxiv.org/abs/2608.02670