LLaMA-Mesh：够将3D网格生成与大语言模型结合起来

共计 998 个字符，预计需要花费 3 分钟才能阅读完成。

清华大学和英伟达的研究人员推出一个名为 LLaMA-Mesh 的系统，它能够将 3D 网格生成与大语言模型（LLMs）结合起来。LLaMA-Mesh 通过将 3D 网格的顶点坐标和面定义表示为纯文本，使得大型语言模型能够直接生成和解释 3D 网格，而无需扩展词汇表或引入新的分词器。这种方法通过对话界面实现，用户可以提供文本提示，模型则以文本和 3D 网格的形式响应，促进了交互式 3D 内容的创建。

• 项目主页：https://research.nvidia.com/labs/toronto-ai/LLaMA-Mesh
• GitHub：https://github.com/nv-tlabs/LLaMa-Mesh

例如，用户想要创建一个古代剑的 3D 模型，他们可以通过 LLaMA-Mesh 系统提供简单的文本描述，如“创建一个简单的古代剑的 3D 模型”。系统将理解这个请求，并生成相应的 3D 网格数据，用户可以直接用于 3D 打印或在虚拟环境中使用。

主要功能和特点

主要功能：

1. 从文本提示生成 3D 网格： 用户可以提供描述性的文本，系统将生成相应的 3D 网格。
2. 文本和 3D 网格的交错输出： 在对话设置中，系统能够产生文本和 3D 网格的交错输出。
3. 理解和解释 3D 网格： 系统能够以自然语言描述 3D 网格，帮助用户理解网格的内容。

主要特点：

• 统一模型： 将 3D 和文本模态统一在一个单一的模型中，无需额外的分词器或词汇扩展。
• 空间知识的利用： 利用 LLMs 已经内嵌的空间知识，这些知识来源于文本资料，如 3D 教程。
• 对话式 3D 生成： 允许用户通过对话与模型交互，进行 3D 内容的创建和编辑。

工作原理

LLaMA-Mesh 的工作原理基于以下几个关键步骤：

1. 3D 表示： 将 3D 网格的顶点坐标和面定义转换为纯文本格式，使其能够被 LLMs 处理。
2. 预训练模型： 使用预训练的 LLaMA 模型作为基础，该模型已经对指令进行了优化，能够生成连贯的响应。
3. 3D 任务微调： 通过构建包含文本 -3D 配对和交错文本 -3D 对话的监督式微调（SFT）数据集，对预训练的 LLaMA 模型进行微调，使其能够理解和生成 3D 网格。

具体应用场景

LLaMA-Mesh 可以应用于多种场景，包括但不限于：

• 计算机图形学： 在电影和游戏制作中创建 3D 模型和动画。
• 工程和机器人学： 设计和模拟机械零件或机器人部件。
• 虚拟现实和增强现实： 创建虚拟环境和增强现实应用中的 3D 对象。
• 教育和培训： 通过交互式学习工具教授 3D 建模和设计概念。