共计 1428 个字符，预计需要花费 4 分钟才能阅读完成。
来自哈尔滨工业大学、北京师范大学、清华大学的研究人员提出了一个名为 GaussianAvatar 的方法，用于从单个视频中创建逼真的人类化身（avatar）。GaussianAvatar 通过使用可动画化的 3D 高斯（animatable 3D Gaussians）来明确表示人体在不同姿势和服装风格下的外观。这种方法能够更有效地从 2D 观察中融合 3D 外观，并支持姿势依赖的外观建模。
GaussianAvatar 的主要特点和实现方法如下：
- 可动画化的 3D 高斯（Animatable 3D Gaussians）：GaussianAvatar 使用 3D 高斯来表示人体表面，这些高斯具有动态属性，可以通过正向蒙皮（forward skinning）过程从标准空间（canonical space）变换到运动空间（motion space），从而实现自由视角渲染。
- 动态外观网络（Dynamic Appearance Network）：为了支持姿势依赖的外观建模，GaussianAvatar 引入了一个动态外观网络，该网络与一个可优化的特征张量（optimizable feature tensor）结合，用于学习从姿势到外观的映射。这允许模型在不同姿势下预测人体外观的动态属性。
- 联合优化运动和外观（Joint Motion and Appearance Optimization）：GaussianAvatar 通过在化身建模过程中联合优化运动和外观，解决了单目设置中运动估计不准确的问题。这种方法允许网络在建模过程中同时优化运动和外观，提高了最终的外观质量。
- 训练策略（Training Strategy）：GaussianAvatar 采用两阶段训练策略。在第一阶段，网络学习将序列外观融合到可优化的特征张量中，并进行运动优化以获得准确的人体运动。在第二阶段，将姿势编码器的输出与训练好的特征张量结合，进一步细化预测。
- 实验验证 ：GaussianAvatar 在多个公开的人体数据集上进行了验证，包括 People-Snapshot、NeuMan 和 DynVideo 数据集。实验结果表明，GaussianAvatar 在恢复动态外观和纠正由初始运动估计引起的伪影方面优于现有方法。
- 实现细节 ：GaussianAvatar 使用了 U -Net 架构作为姿势编码器，以及一个多层感知器（MLP）作为高斯参数解码器。整个框架在 NVIDIA RTX 3090 GPU 上进行训练，训练时间从 0.5 到 6 小时不等。
应用包括：
- 视频游戏和虚拟现实：高斯阿凡达可以用于创建逼真的人类角色模型，提高游戏和虚拟现实环境中的身临其境感和沉浸感。
- 影视制作和特效：高斯阿凡达可以用于在电影和电视剧中生成逼真的数字人物，减少对实际演员的依赖，并实现更自由的创作和特效效果。
- 人机交互和虚拟助手：通过高斯阿凡达可以创建具有人类外观和动作的虚拟助手，提供自然和亲切的人机交互体验。
GaussianAvatar 的方法为从单目视频中创建逼真的人类化身提供了一个有效的解决方案，具有实时渲染能力和对动态外观建模的支持。然而，该方法也存在一些局限性，例如在处理宽松服装（如裙子）时可能会遇到困难，以及在视频前景分割不准确时可能会产生伪影。未来的工作可能会集中在解决这些挑战上。
正文完
关注公众号获取最新教程
