GALA:从单次扫描中生成可动画化的分层资产

7次阅读
没有评论

共计 807 个字符,预计需要花费 3 分钟才能阅读完成。

首尔国立大学、Codec Avatars Lab 和 Meta 提出了名为 GALA 的新框架,它能够从单次扫描中生成可动画化的分层资产。GALA 通过分解和重构 3D 人体模型,使得用户可以创建具有不同姿势和服装的新型人体化身。这种方法利用了预训练的 2D 扩散模型作为几何和外观的先验知识,通过在规范空间中完成每个层级的几何和纹理的补全,实现了对 3D 服装转移和化身定制。

项目主页:https://snuvclab.github.io/gala

GitHub 地址:https://github.com/snuvclab/GALA

GALA:从单次扫描中生成可动画化的分层资产

特点

  1. 多层分解与组合:GALA 提出了一种新任务,即从单层扫描中进行多层分解和组合,提供了一个实用的组合资产创建流程。
  2. 姿势引导的 SDS 损失 :提出了一种姿势引导的 Score Distillation Sampling (SDS) 损失,能够在规范空间中稳健地建模分层服装人体,实现从单一扫描中的服装转移和重构。
  3. 全面分析:通过新建立的评估协议,对从单一扫描生成可动画化分层资产的过程进行了全面分析,并计划发布代码以便于未来研究的基准测试。

方法:GALA 的方法包括以下几个关键步骤:

  1. 表示与初始化:使用 SMPL- X 网格在规范姿势下初始化 DMTet,并优化损失函数以匹配 SMPL- X 网格。
  2. 几何分解与规范化:在规范空间中使用 DMTet 建模人体和对象的几何,通过前向线性混合皮肤(LBS)将规范几何转换为输入扫描的姿势,并基于获取的分割重建每个层级的可见部分。
  3. 外观补全:在规范空间中应用姿势引导的 SDS 损失来完成纹理,同时在规范空间中优化纹理的 MLP 网络。
  4. 组合:在组合生成的资产时,通过分割损失进一步规范化几何,以防止层之间的穿透。
  5. 细化:在组合阶段,通过优化顶点位置来减少人类和对象之间的错位。

GALA 的实验结果表明,其方法在分解、规范化和组合任务上优于现有解决方案。此外,GALA 还能够处理松散服装的规范化,这是现有方法难以实现的。

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-24发表,共计807字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码