Kaleido：利用潜空间相关性的视频扩散Transformer算法-硬件协同设计

Kaleido针对视频扩散Transformer在扩散步数减少后暴露出的自注意力瓶颈，利用潜空间中的通道级时空相关性复用部分计算，并设计可重构处理单元阵列与数据分发器适配不规则稀疏。在三种主流vDiT模型上，论文报告最高5.9倍加速、16.0倍节能，并称生成质量较既有方法高出超过17 dB。