基于扩散模型的两阶段框架3DHM：通过 3D 控制合成移动人物

共计 823 个字符，预计需要花费 3 分钟才能阅读完成。

加州大学伯克利分校团队提出了一个基于扩散模型的两阶段框架 3DHM，通过从单张图像完成纹理映射来重建 3D 人体运动，然后渲染 3D 人体以模仿演员的动作。该方法主要包括两个核心组件：1）学习关于人体和服装不可见部分的先验知识；2）渲染具有适当服装和纹理的新身体姿势。对于第一个部分，作者学习了一个用于填补人体纹理图中不可见部分的修复扩散模型。对于第二个部分，作者开发了一个基于扩散的渲染管道，该管道受 3D 人体姿势控制，可以产生具有逼真服装和纹理的新身体姿势的渲染。这种去耦方法使得该方法能够生成一系列遵循目标 3D 姿势和输入图像视觉相似性的图像。此外，3D 控制允许各种合成相机轨迹来渲染人物。实验结果显示，该方法在生成延长的运动和各种具有挑战性和复杂性的姿势方面比先前的方法更具弹性。

项目主页：https://boyiliee.github.io/3DHM.github.io

GitHub 地址：https://github.com/Boyiliee/3DHM

该框架的主要特点包括：

1. 3D 控制：利用 3D 姿态估计模型生成目标人体的运动数据，使合成的人体动画具有更精细的控制。
2. 扩散模型：采用扩散模型进行纹理图补全和渲染，提高了样本利用率和泛化能力。
3. 两阶段框架：分为纹理图补全和渲染两个阶段，实现了对单张图片中人体的动画合成。
4. 完全自监督训练：无需额外的标注，可训练任意视频数据，使模型更易于扩展。
5. 可处理复杂动作：可处理复杂的动作和长视频生成，具有比其他方法更好的泛化能力。
6. 3D 关键点准确率：在 3D 关键点估计准确率指标上表现较好，生成的 3D 姿态更加准确。
7. 端到端训练：端到端训练，无需人工设计特征工程，让模型自己学习到需要的特征表示。
8. 数据集规模：可扩展到更大的数据集上，只需要更多的人体视频数据，有望进一步提高模型的泛化能力。
9. 适用性：适用于不同类型的服装，如裙子、正装、休闲装等，具有一定的泛化能力。
10. 定性结果：定性结果显示，能够合成出高质量的人体动画，展示了其生成效果。