PACE提出一种从非代理、原子能力评测中筛选少量实例的方法,用回归模型预测SWE-Bench、GAIA等昂贵代理基准的成绩。论文在14个模型、4个代理基准和19个非代理基准上实验,LOOCV平均绝对误差低于4%,Spearman相关系数高于0.80,模型排序准确率约85%,成本低于完整评测的1%。
最近 24 小时暂无可用热度快照。