一种新颖的、前馈式的照片级真实风格迁移方法FPRF

33次阅读
没有评论

共计 997 个字符,预计需要花费 3 分钟才能阅读完成。

由韩国 AMI 实验室、浦项科技大学、延世大学提出的一种新颖的、前馈式的照片级真实风格迁移方法 FPRF(Feed-Forward Photorealistic Style Transfer of Large-Scale 3D Neural Radiance Fields),专门针对大规模 3D 神经辐射场。这种方法允许在保持多视图一致性的同时,使用任意数量的参考图像对大规模 3D 场景进行风格化。FPRF 通过引入一个风格分解的 3D 神经辐射场来实现这一目标,该场继承了 AdaIN(Adaptive Instance Normalization)的前馈风格化机制,并支持任意风格参考图像。此外,FPRF 通过语义对应匹配和局部 AdaIN 支持多参考风格化,为 3D 场景风格提供了多样化的用户控制。FPRF 还通过将语义匹配和风格迁移过程直接应用于 3D 空间中查询的特征来保持多视图一致性。在实验中,FPRF 展示了在大规模场景中使用多样化参考图像进行风格化时,能够达到良好的照片级真实质量。

项目主页:https://kim-geonu.github.io/FPRF

主要贡献包括:
1. 提出了一个可风格化的辐射场,可以在单阶段训练中以高效的前馈方式进行照片级真实风格迁移。
2. 提出了风格字典及其风格注意力机制,用于风格检索,使我们能够有效地处理多个风格参考。
3. 据我们所知,我们的工作是第一个基于多参考的 3D 场景风格迁移方法,不需要任何风格优化,适用于大规模 3D 场景。

FPRF 通过使用 AdaIN 方法,实现了对大规模 3D 场景的前馈风格化,这种方法在各种任务中已经显示出了高效和有希望的风格迁移结果。具体来说,FPRF 提出了一个由场景内容场和场景语义场组成的照片级可风格化辐射场。给定目标场景的大量照片,首先训练一个基于网格的场景内容场,以嵌入场景几何和内容特征,这些特征可以稍后解码为任意风格的大规模辐射场。场景语义场同时训练,以匹配适当的局部风格到局部场景。在获得场景内容场后,FPRF 通过 AdaIN 对整个 3D 场景进行风格化,AdaIN 以前馈方式操纵场景内容场,使用风格参考图像的特征统计数据,无需任何额外的优化。

FPRF 在实验中展示了其优越的风格化质量,无论是对于大规模还是小规模场景,都能实现多视图一致和语义匹配的风格迁移。此外,与之前的方法相比,FPRF 展示了其多样性,能够使用多个风格参考来风格化 3D 场景,而这是其他先前方法无法实现的。

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-20发表,共计997字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码