量子位henry
“给我看《指环王》”:卡帕西推荐大模型评测新基准
原标题:Show me《指环王》!卡帕西强推大模型评测新基准
行业46
量子位报道称,《指环王》被用于一种新的大模型评测,并获 Andrej Karpathy 推荐。现有标题与摘要未说明任务形式、参评模型、评分方法或实验结果,也未提供基准原始链接,因此目前只能确认报道主题,无法判断其有效性与可复现性。
为什么值得读
叙事型任务可能补充传统静态评测,但在原始方法与结果公开前,应先核查它究竟测量了什么能力。
标签
LLM评测BenchmarkKarpathy指环王QbitAI