OmegaUse-OfficeVal提出一个面向长程办公套件任务的代理评测基准,包含100项来自实践者请求、经隐私保护改编的任务。每项任务同时记录人类劳动时间和价格代理,并配套基于细粒度评分标准的代码验证器。摘要称,受测前沿模型虽比人工更快、更便宜,但交付质量尚未达到人类水平;代码与数据已开源。
最近 24 小时暂无可用热度快照。