文本到图像扩散模型安全对齐中的高效用幻觉

论文指出，安全对齐后的文本到图像模型虽然在FID、CLIPScore等粗粒度指标上保持高效用，但在TIFA结构化评测中会明显损失对象数量、属性和关系等语义忠实度。作者将原因归因于文本编码器嵌入空间的语义坍缩，并提出SAGE，通过保持嵌入分布与提示间关系，使TIFA较此前最佳方法提升5.0%。