该论文系统研究大语言模型是否真正理解逆关系的方向依赖语义,例如母亲与子女。作者构建包含5,457个实例、覆盖27种逆关系标签的基准,评测5个开源模型,并通过合成实体和掩码实体检验实体表示的影响。结果显示,模型存在系统性方向不对称,关系描述未必提升性能,实体替换也可能显著改变表现。
最近 24 小时暂无可用热度快照。