AURORA-LM提出一种连续潜空间扩散语言模型:用基于查询的编码器—解码器构造高容量、前缀对齐且可解码的文本潜变量,再由块因果扩散Transformer通过流匹配按块生成、块内并行去噪。模型限制噪声输入通路而保留完整潜变量预测目标,并结合噪声校准与自轨迹一致性,在OpenWebText自由生成和XSum摘要上取得所评估连续及扩散语言模型中的最佳表现。
最近 24 小时暂无可用热度快照。