在 AI 绘画领域大红大紫的公司 Stability AI在北京时间12月14日又释出了一款3D图像模型Stable Zero123，这款模型是基于Zero123模型，Stability AI号称通过改进的数据渲染和模型调节策略，与原始 Zero123 及其后续迭代 Zero123-XL 相比，Stable Zero123表现出更高的性能。而Zero123模型是由丰田研究院和哥伦比亚大学联合打造，Stability AI推荐Stable Zero123与SDXL搭配使用，使用SDXL生成图片后，在 Stable Zero123 上使用 SDS 生成 3D 对象。
Stable Zero123模型地址：https://huggingface.co/stabilityai/stable-zero123
zero123地址：https://github.com/cvlab-columbia/zero123
zero123论文：https://arxiv.org/abs/2303.11328
高质量数据集Objaverse-XL
高质量数据集已成为预训练大模型的重要环节之一，甚至超过了更多的神经元。Stability.ai对一个超过1000万个3D模型数据集Objaverse-XL进行了过滤，只保留高质量、精准、数据标注准确的模型。这可以让Stable Zero123在生成的过程中更好的理解和生成3D模型。Zero123的最新模型XL也是基于该数据集训练而成。
Objaverse-XL地址：https://objaverse.allenai.org
如何使用 Stable Zero123 创建 3D 对象？
该模型基于 Stable Diffusion 1.5，消耗与 SD1.5 相同数量的显存，以生成 1 个新视图。使用 Stable Zero123 生成 3D 对象需要更多的时间和内存（建议使用 24GB 显存）。为了实现 3D 对象生成的开放式研究，Stability AI通过支持 Zero123 和 Stable Zero123 改进了 threestudio 的开源代码。要在threestudio中使用Stable Zero123生成对象3D网格，您可以按照以下步骤操作：
- 按照官方的说明安装 threestudio（GitHub地址，官方给出的安装方法是在Linux上）
- 将 Stable Zero123 模型
stable_zero123.ckpt下载到load/zero123/目录中 - 拍摄照片或者使用SDXL生成图片
- 使用工具删除图片背景
- 保存到
load/images/，最好以_rgba.png后缀 - 使用 Stable Zero123 ckpt 运行 Zero-1-to-3：
python launch.py --config configs/stable-zero123.yaml --train --gpu 0 data.image_path=./load/images/hamburger_rgba.png