arXiv 预印本Margaret Kostyrko
重审“数字人即图像”:高保真配准打通 2D 生成模型与 3D 人体
原标题:Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need
论文78
将3D穿衣人体表示为基础人体模型上的标准化2D UV纹理和位移图,长期以来一直备受研究。这种紧凑的表示极具吸引力,因为它使预训练的图像网络能够处理、生成和编辑3D数字人;但其前提是通过高保真配准将扫描数据精确对齐并建立对应关系,否则便失去实用价值。这一先决条件此前从未得到满足,我们认为这正是以往基于UV的穿衣人体方法质量受限的原因。尽管其重要性不言而喻,但目前尚无公开方法能够从任意穿衣扫描数据中生成带有UV纹理的高保真SMPL(-X)+D配准结果。为此,我们提出了多阶段优化管线AvaImg来填补这一空白:它通过符号环绕数施加“身体位于衣服内部”的约束,并通过三级效率级联(运行时间缩短约10倍,存储空间节省约95%)使其切实可行;同时采用由粗到细的位移优化来恢复精细的表面细节。AvaImg在六个数据集上的身体拟合、形状估计和表面配准方面均优于所有基线方法,生成的带纹理配准结果与扫描数据几乎难以区分(PSNR=34.48dB)。为验证AvaImg的“数字人即图像(Avatar-as-Image)”表示与图像基座模型的即时兼容性,我们通过冻结的FLUX VAE对UV图进行了自动编码。相比扫描数据,这一过程仅增加了0.76毫米的倒角误差,并表明生成的贴图处于自然图像分布之内,从而支持利用2D生成先验进行3D数字人生成。代码、数据和Singularity容器将发布于 https://yuxuan-xue.com/avaimg。
为什么值得读
证明了只要解决高精度配准,现成二维图像生成底模就能以极低几何损耗无缝接入高保真三维人体生成。
标签
3D AvatarsUV MappingSMPL-XFLUXGenerative AI3D ReconstructionMesh Registration