DiscoLoop：结合离散嵌入循环与连续隐藏状态的多跳推理

论文研究语言模型在单次前向传播中完成多跳推理的瓶颈。作者发现，循环Transformer首轮已能解码正确桥接实体，但隐藏状态与其词元嵌入对齐不足。DiscoLoop让循环同时传递离散嵌入和连续状态，在符号、合成语言及真实预训练任务上取得更快收敛、更低训练损失和更强基准表现。