GALA：从单次扫描中生成可动画化的分层资产

共计 807 个字符，预计需要花费 3 分钟才能阅读完成。

首尔国立大学、Codec Avatars Lab 和 Meta 提出了名为 GALA 的新框架，它能够从单次扫描中生成可动画化的分层资产。GALA 通过分解和重构 3D 人体模型，使得用户可以创建具有不同姿势和服装的新型人体化身。这种方法利用了预训练的 2D 扩散模型作为几何和外观的先验知识，通过在规范空间中完成每个层级的几何和纹理的补全，实现了对 3D 服装转移和化身定制。

项目主页：https://snuvclab.github.io/gala

GitHub 地址：https://github.com/snuvclab/GALA

特点：

1. 多层分解与组合：GALA 提出了一种新任务，即从单层扫描中进行多层分解和组合，提供了一个实用的组合资产创建流程。
2. 姿势引导的 SDS 损失 ：提出了一种姿势引导的 Score Distillation Sampling (SDS) 损失，能够在规范空间中稳健地建模分层服装人体，实现从单一扫描中的服装转移和重构。
3. 全面分析：通过新建立的评估协议，对从单一扫描生成可动画化分层资产的过程进行了全面分析，并计划发布代码以便于未来研究的基准测试。

方法：GALA 的方法包括以下几个关键步骤：

1. 表示与初始化：使用 SMPL- X 网格在规范姿势下初始化 DMTet，并优化损失函数以匹配 SMPL- X 网格。
2. 几何分解与规范化：在规范空间中使用 DMTet 建模人体和对象的几何，通过前向线性混合皮肤（LBS）将规范几何转换为输入扫描的姿势，并基于获取的分割重建每个层级的可见部分。
3. 外观补全：在规范空间中应用姿势引导的 SDS 损失来完成纹理，同时在规范空间中优化纹理的 MLP 网络。
4. 组合：在组合生成的资产时，通过分割损失进一步规范化几何，以防止层之间的穿透。
5. 细化：在组合阶段，通过优化顶点位置来减少人类和对象之间的错位。

GALA 的实验结果表明，其方法在分解、规范化和组合任务上优于现有解决方案。此外，GALA 还能够处理松散服装的规范化，这是现有方法难以实现的。