UniMate：通用任意骨骼绑定的 3D 角色动作生成模型

UniMate: A Unified Foundation Model for Articulated Motion Synthesis

自动绑定技术的最新进展目前已能大规模生成可直接用于动画制作的 3D 资产，但生成驱动这些资产的动作仍是一个瓶颈。现有的基于学习的动画生成模型受到拓扑结构的限制：它们依赖特定类别的模板，或在推理时需要针对每个骨骼进行微调以及提供参考动作。我们提出了 UniMate，这是一种统一的基础模型，能够根据已绑定的 3D 资产和文本提示词为任意骨骼合成关节动作，且无需测试时优化或针对特定骨骼重新训练。UniMate 引入了一种拓扑感知扩散 Transformer（Diffusion Transformer），通过三种机制将骨骼拓扑结构融入注意力机制：(1) 源于成对关节关系和测地距离的图感知注意力偏置；(2) 谱旋转位置编码（spectral rotary position embedding），其借助图拉普拉斯算子将 RoPE 推广至任意运动学树；以及 (3) 从静止姿态骨骼中经注意力池化得到的全局拓扑条件器。我们还构建了 UniML3D 数据集，包含 13,006 个动作序列，涵盖两足、四足、鸟类、海洋生物、昆虫类、蛇形以及关节式刚体物体，并具备统一的规范化表达与文本配对。在该数据集上训练后，UniMate 在生成质量、泛化能力和计算效率上均超越了现有的前沿基线方法，并支持零样本跨拓扑迁移、动作插帧（补帧）、动作延展及文本引导编辑。我们的项目主页位于 https://linzhanmou.com/unimate/。

自动绑定技术的最新进展目前已能大规模生成可直接用于动画制作的 3D 资产，但生成驱动这些资产的动作仍是一个瓶颈。现有的基于学习的动画生成模型受制于拓扑结构：它们依赖特定类别的模板，或在推理时需要针对每个骨骼进行微调以及提供参考动作。我们提出了 UniMate，这是一种统一的基础模型，能够根据绑定的 3D 资产和文本提示词为任意骨骼合成关节动作，且无需测试时优化或针对特定骨骼重新训练。UniMate 引入了一种拓扑感知的扩散 Transformer，通过三种机制将骨骼拓扑结构融入注意力机制：(1) 源于成对关节关系和测地距离的图感知注意力偏置；(2) 谱旋转位置编码（spectral rotary position embedding），其借助图拉普拉斯算子将 RoPE 推广至任意运动学树；以及 (3) 从静止姿态骨骼中经注意力池化提取的全局拓扑条件器。此外，我们还构建了包含 13,006 个动作序列的 UniML3D 数据集，涵盖两足、四足、鸟类、海洋生物、昆虫类、蛇形以及多关节刚体物体，并进行了统一的规范化处理与文本配对。在该数据集上训练后，UniMate 在生成质量、泛化能力和效率上均超越了现有的前沿基线方法，并支持零样本跨拓扑迁移、补帧、动作延展以及文本引导的编辑。我们的项目主页位于 https://linzhanmou.com/unimate/。