面向社会模拟生成式智能体的步骤级偏好学习

该论文提出一种交互式模拟界面，用于收集生成式智能体决策轨迹中规划、记忆检索、反思和行动选择等中间步骤的人类偏好，并构建包含57K条细粒度标注的数据集。作者在开放权重语言模型上采用监督微调和直接偏好优化，报告称其提升了模拟保真度、协作能力与交互质量。