BakedAvatar：实时创建和渲染逼真的动态 3D头像

共计 1188 个字符，预计需要花费 3 分钟才能阅读完成。

中国北航大学的虚拟现实技术与系统国家重点实验室以及腾讯 ARC 实验室合作开发的 BakedAvatar，用于从视频合成具有个性化特征的实时 4D 头部头像。只需要一个简短的视频，BakedAvatar 就能从这个视频中复制出该人物 3D 头部模型。同时精确捕捉其面部特征，模拟表情和头部运动，它还能对 3D 头部进行实时渲染，编辑和调整头像的表情、姿势等。简单来说，BakedAvatar 提供了一个高度灵活和互动的工具，用于创建和操作逼真的虚拟头像。

项目主页：https://buaavrcg.github.io/BakedAvatar

GitHub 地址：https://github.com/buaavrcg/BakedAvatar

论文地址：https://arxiv.org/pdf/2311.05521.pdf

主要贡献：

• 提出了 BakedAvatar，一种新的表示方法，用于 4D 头部头像的合成，将神经场烘焙到可变形的分层网格和相应的纹理中。
• 提出了一种多层网格代理，近似于人类头部的体积渲染。
• 将表情、姿势和视角相关的外观烘焙到线性可混合的纹理基础上，并与轻量级的像素着色器中运行的外观解码器组合。
• 实验结果表明，该方法合成的头部头像质量与最先进的方法相当，但显著更快。在包括笔记本电脑、平板电脑和手机在内的普通设备上实现了实时渲染，同时支持交互式表情和姿势编辑，以及面部重演。

相关工作：

• 4D 头部头像合成：讨论了基于图像的方法、基于网格的方法和基于 NeRF 的方法。
• 加速推理的混合 NeRF 表示：讨论了将训练好的 NeRF 转换为显式或混合表示以加快推理速度的方法。

方法：

• 学习可变形流形和表情、姿势、视角相关的外观：首先从头部的隐式表示中重建 4D 头像，然后提取可变形的分层网格并烘焙外观场到静态纹理中，最后使用微分光栅化来微调纹理细节。
• 计算可变形分层网格和纹理：使用 Marching Cubes 提取等值面，并对网格进行简化以提高实时推理性能。
• 实时渲染：使用 JavaScript 和 WebGL2 在 HTML 网页上实现交互式查看器，渲染高质量的动态头部头像。

实验：

• 使用来自公开数据集的 8 个受试者的单目视频进行实验，评估了自重演和受控头部头像合成的图像质量，以及在不同设备上的渲染速度。
• 进行了消融研究，分析了网格层数、纹理分辨率、微调阶段和感知损失对渲染质量和速度的影响。

结论：BakedAvatar 在实时渲染和交互式应用方面展示了潜力，但也存在局限性，如网格层数和网格纹理细节的质量限制。未来工作可以探索更准确的变形重建和非线性动态外观表示，以及扩展技术以生成与个人无关的头部头像。

伦理考虑：虽然该技术旨在促进积极应用，如增强混合现实视频会议或开发虚拟人类向导，但作者也指出了其潜在的滥用风险，如伪造真实场景中的人物表现，可能导致误导观众或对被描绘人物造成伤害。作者强调了开发对策以防止这种技术被不道德利用的重要性。