新型三维高斯重建模型Long-LRM：快速从一系列输入图像中重建出一个大型场景的三维表示

共计 934 个字符，预计需要花费 3 分钟才能阅读完成。

俄勒冈州立大学和 Adob​​e 研究中心的研究人员推出新型三维高斯重建模型 Long-LRM，它能够快速从一系列输入图像中重建出一个大型场景的三维表示。例如，你是一位电影制作人，需要在一个复杂的城市环境中快速构建一个三维模型以用于特效制作。使用 Long-LRM，你只需拍摄一系列该场景的照片，上传到计算机，模型就能迅速生成一个详细的三维城市环境，你可以从任何角度查看和修改这个环境，极大地提高了制作效率。

• 项目主页：https://arthurhero.github.io/projects/llrm

主要功能和特点：

1. 快速重建：Long-LRM 能够在短短 1.3 秒内处理 32 张 960×540 分辨率的源图像，并重建出整个场景。这对于需要即时三维场景重建的应用非常有帮助。
2. 高效率：与需要长时间优化的传统方法相比，Long-LRM 的重建效率高出两个数量级，这使得它在资源有限的环境中也非常有用。
3. 高质量渲染：该模型能够生成高质量的新视角图像，与基于优化的方法相比，其渲染质量具有竞争力，甚至在某些情况下更优。

工作原理： Long-LRM 的工作原理基于几个关键步骤：

1. 图像分块：首先，输入的多视角图像被分割成一系列的小块（patch tokens）。
2. 序列处理：这些小块被线性变换并连接成 token 序列，然后通过一个混合了 Mamba2 块和传统 transformer 块的网络进行处理。Mamba2 块有助于高效处理长序列数据，而 transformer 块则保留了全局上下文信息。
3. 特征合并和高斯剪枝：在网络处理过程中，通过可选的 token 合并模块进一步减少 token 数量，并在渲染新视角之前对高斯参数进行剪枝，以提高效率。
4. 新视角合成：处理后的 token 被解码成高斯参数，然后通过高斯剪枝生成最终的三维高斯表示，从而实现从新视角的高质量图像合成。

具体应用场景：

1. 虚拟现实（VR）和增强现实（AR）：在 VR 和 AR 应用中，Long-LRM 可以快速为用户生成详细的三维环境模型，提升沉浸感。
2. 三维内容创建：对于电影制作或游戏开发，Long-LRM 可以加速三维场景的创建过程，减少手工建模的工作量。
3. 自动驾驶和机器人：在这些领域，快速准确的三维场景理解对于导航和避障至关重要，Long-LRM 可以提供实时的三维环境重建。