双向归纳：掩码扩散语言模型上下文学习的机制分析

论文比较匹配架构的自回归Transformer与吸收掩码扩散语言模型，发现扩散模型形成了可从过去或未来匹配上下文的双向归纳回路。其单侧归纳能力并不超过自回归模型，但在掩码词两侧均可见时表现更强；模型还会通过全局掩码比例隐式推断去噪时间步。