BakedAvatar:实时创建和渲染逼真的动态 3D头像

53次阅读
没有评论

共计 1188 个字符,预计需要花费 3 分钟才能阅读完成。

中国北航大学的虚拟现实技术与系统国家重点实验室以及腾讯 ARC 实验室合作开发的 BakedAvatar,用于从视频合成具有个性化特征的实时 4D 头部头像。只需要一个简短的视频,BakedAvatar 就能从这个视频中复制出该人物 3D 头部模型。同时精确捕捉其面部特征,模拟表情和头部运动,它还能对 3D 头部进行实时渲染,编辑和调整头像的表情、姿势等。简单来说,BakedAvatar 提供了一个高度灵活和互动的工具,用于创建和操作逼真的虚拟头像。

项目主页:https://buaavrcg.github.io/BakedAvatar

GitHub 地址:https://github.com/buaavrcg/BakedAvatar

论文地址:https://arxiv.org/pdf/2311.05521.pdf

BakedAvatar:实时创建和渲染逼真的动态 3D 头像

主要贡献:

  • 提出了 BakedAvatar,一种新的表示方法,用于 4D 头部头像的合成,将神经场烘焙到可变形的分层网格和相应的纹理中。
  • 提出了一种多层网格代理,近似于人类头部的体积渲染。
  • 将表情、姿势和视角相关的外观烘焙到线性可混合的纹理基础上,并与轻量级的像素着色器中运行的外观解码器组合。
  • 实验结果表明,该方法合成的头部头像质量与最先进的方法相当,但显著更快。在包括笔记本电脑、平板电脑和手机在内的普通设备上实现了实时渲染,同时支持交互式表情和姿势编辑,以及面部重演。

相关工作:

  • 4D 头部头像合成:讨论了基于图像的方法、基于网格的方法和基于 NeRF 的方法。
  • 加速推理的混合 NeRF 表示:讨论了将训练好的 NeRF 转换为显式或混合表示以加快推理速度的方法。

方法:

  • 学习可变形流形和表情、姿势、视角相关的外观:首先从头部的隐式表示中重建 4D 头像,然后提取可变形的分层网格并烘焙外观场到静态纹理中,最后使用微分光栅化来微调纹理细节。
  • 计算可变形分层网格和纹理:使用 Marching Cubes 提取等值面,并对网格进行简化以提高实时推理性能。
  • 实时渲染:使用 JavaScript 和 WebGL2 在 HTML 网页上实现交互式查看器,渲染高质量的动态头部头像。

实验:

  • 使用来自公开数据集的 8 个受试者的单目视频进行实验,评估了自重演和受控头部头像合成的图像质量,以及在不同设备上的渲染速度。
  • 进行了消融研究,分析了网格层数、纹理分辨率、微调阶段和感知损失对渲染质量和速度的影响。

结论:BakedAvatar 在实时渲染和交互式应用方面展示了潜力,但也存在局限性,如网格层数和网格纹理细节的质量限制。未来工作可以探索更准确的变形重建和非线性动态外观表示,以及扩展技术以生成与个人无关的头部头像。

伦理考虑:虽然该技术旨在促进积极应用,如增强混合现实视频会议或开发虚拟人类向导,但作者也指出了其潜在的滥用风险,如伪造真实场景中的人物表现,可能导致误导观众或对被描绘人物造成伤害。作者强调了开发对策以防止这种技术被不道德利用的重要性。

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-11发表,共计1188字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码