ARB：用于评估 AI 文本检测器的匹配式作者重写基准数据集
原标题:ARB: A Matched Authorship-Rewriting Benchmark Dataset for AI-Text Detector Evaluation
AI 导读
论文提出作者重写基准 ARB，包含来自 XSum、WritingPrompts 和 OpenWebText 的 1,800 篇人类文本，并为每篇构造 HUMAN、直接生成、人工文本经 LLM 改写和 LLM 文本再改写四类匹配样本。五种检测器在 1% 误报率下显示，直接生成文本的检测率可达 91.2%至 93.5%，但人类文本经 LLM 改写后降至 15.1%至 30.8%。
为什么值得读
它直接检验了检测器面对真实“人类先写、模型后改”场景时是否失效，揭示传统人类对机器基准可能严重高估实际检测能力。
深度解读
1. 发生了什么
**原始事实：**论文提出 Authorship-Rewriting Benchmark（ARB），针对传统 AI 文本检测评测与实际 LLM 改写场景之间的差距，构建匹配式数据集。数据来自 XSum、WritingPrompts 和 OpenWebText，共 1,800 篇人类源文本，每篇生成四种对应版本：HUMAN、Free-LLM、H2L，以及 LLM2L。
2. 核心技术
**原始事实：**ARB 使用四个开放权重生成器：Llama-3.2-3B、Qwen2.5-7B、Mistral-7B 和 Gemma-2-9B。H2L 表示人类文本由 LLM 改写，LLM2L 表示由同一生成器产生的 LLM 文本再次改写。研究评估 FastDetectGPT、Binoculars-falcon-7b、RADAR、BERT-Defense 和 RoBERTa-Defense 五种检测器。
3. 关键证据与数字
**原始事实：**评测采用严格的 1% 假阳性率，即 TPR@1%FPR。FastDetectGPT 对直接 LLM 文本的检测率为 91.2%，对 H2L 文本降至 30.8%；Binoculars-falcon-7b 从 93.5% 降至 15.1%，下降约 60 至 78 个百分点。两者对 LLM2L 的召回率仍为 78.3% 和 83.0%，仅下降约 10 至 13 个百分点。RADAR 从 66.8% 降至 12.2%；BERT-Defense 和 RoBERTa-Defense 在所有场景下均低于 3%。
4. 为什么重要
**分析：**结果说明，检测器识别的可能更多是“直接生成文本的分布特征”，而不是文本是否曾由模型参与编辑。传统 HUMAN-vs-LLM 测试因此不能直接代表对润色、改写或语法修订后文本的识别能力。论文还显示，模型改写并不会同样程度地隐藏纯 LLM 文本的来源，提示文本来源和编辑轨迹之间存在重要差异。
5. 实际影响
**分析：**学术诚信、内容审核和出版场景若只依赖直接生成基准，可能把检测器能力估计得过高。ARB 可用于训练和测试更贴近真实工作流的检测系统，也能帮助机构把检测结果视为风险信号，而非单独的归责证据。对产品团队而言，评测集应至少区分人类原创后经模型修改、模型原创后经模型修改和直接生成三类流程。
6. 局限与不确定性
**原始事实与不确定性：**摘要只披露了数据来源、模型、检测器和总体结果，未在给定信息中说明具体重写提示词、改写强度、语言覆盖、文本长度分布、数据划分方式或统计显著性。四个生成器均为开放权重模型，结果未必适用于闭源模型、其他语言、人工编辑或多轮混合编辑。BERT-Defense 与 RoBERTa-Defense 在此设置下低召回，也不能单凭摘要判断其实现、阈值校准或跨域表现。将这些结果推广到所有检测器和所有真实写作流程属于未经验证的推断。
7. 原始来源
- 论文页面：arXiv:2607.29539
- **来源类型：**arXiv 论文条目
- **发布日期：**2026-07-31（按提供的来源元数据）