图像生成3D模型Triplane Gaussian Splatting (TGS)：通过单个图像进行快速3D重建

共计 646 个字符，预计需要花费 2 分钟才能阅读完成。

清华大学团队提出了一种名为 Triplane-Gaussian（TGS）的新方法，用于从单视图图像快速重建三维模型。TGS 方法结合了显式点云几何和隐式三平面特征，以实现高效渲染和高质量的三维重建。这种方法的核心在于使用 Transformer 网络来解码点云和三平面特征，然后通过 MLP（多层感知器）来解码 3D 高斯属性，如不透明度和球谐系数。

项目主页：https://zouzx.github.io/TriplaneGaussian/

GitHub 地址：https://github.com/VAST-AI-Research/TriplaneGaussian

Demo 地址：https://huggingface.co/spaces/VAST-AI/TriplaneGaussian

方法：

• Triplane-Gaussian 表示：结合了点云和 Triplane 表示的优点，以实现高效高质量的 3D 重建。
• 点云解码器：用于从图像预测粗略的点云，并进行上采样以生成稠密点云。
• Triplane 解码器：基于图像和初始点云输出 Triplane 特征，以辅助点云解码器进行上采样和几何感知编码。
• 3D 高斯解码器：从点云、Triplane 特征和图像特征解码 3D 高斯属性。

训练：使用 2D 渲染损失和 3D 点云监督进行端到端训练。

实验：在合成数据集和真实图像上评估了 TGS，结果表明 TGS 在重建质量和速度方面优于多个基准方法。

结论：总结 TGS 方法的贡献，即提出了混合 Triplane-Gaussian 表示，实现了高质量和高效的 3D 重建。