Stability AI公布开源图像生成3D对象模型「 Stable Zero123」

335次阅读
没有评论

共计 1203 个字符,预计需要花费 4 分钟才能阅读完成。

在 AI 绘画领域大红大紫的公司 Stability AI 在北京时间 12 月 14 日又释出了一款 3D 图像模型 Stable Zero123,这款模型是基于 Zero123 模型,Stability AI 号称通过改进的数据渲染和模型调节策略,与原始 Zero123 及其后续迭代 Zero123-XL 相比,Stable Zero123 表现出更高的性能。而 Zero123 模型是由丰田研究院和哥伦比亚大学联合打造,Stability AI 推荐 Stable Zero123 与 SDXL 搭配使用,使用 SDXL 生成图片后,在 Stable Zero123 上使用 SDS 生成 3D 对象。

Stable Zero123 模型地址:https://huggingface.co/stabilityai/stable-zero123

zero123 地址:https://github.com/cvlab-columbia/zero123

zero123 论文:https://arxiv.org/abs/2303.11328

Stability AI 公布开源图像生成 3D 对象模型「Stable Zero123」

高质量数据集 Objaverse-XL

高质量数据集已成为预训练大模型的重要环节之一,甚至超过了更多的神经元。Stability.ai 对一个超过 1000 万个 3D 模型数据集 Objaverse-XL 进行了过滤,只保留高质量、精准、数据标注准确的模型。这可以让 Stable Zero123 在生成的过程中更好的理解和生成 3D 模型。Zero123 的最新模型 XL 也是基于该数据集训练而成。

Objaverse-XL 地址:https://objaverse.allenai.org

如何使用 Stable Zero123 创建 3D 对象?

该模型基于 Stable Diffusion 1.5,消耗与 SD1.5 相同数量的显存,以生成 1 个新视图。使用 Stable Zero123 生成 3D 对象需要更多的时间和内存(建议使用 24GB 显存)。为了实现 3D 对象生成的开放式研究,Stability AI 通过支持 Zero123 和 Stable Zero123 改进了 threestudio 的开源代码。要在 threestudio 中使用 Stable Zero123 生成对象 3D 网格,您可以按照以下步骤操作:

  1. 按照官方的说明安装 threestudio(GitHub 地址 ,官方给出的安装方法是在 Linux 上)
  2. 将 Stable Zero123 模型 stable_zero123.ckpt 下载到 load/zero123/ 目录中
  3. 拍摄照片或者使用 SDXL 生成图片
  4. 使用工具删除图片背景
  5. 保存到 load/images/,最好以 _rgba.png 后缀
  6. 使用 Stable Zero123 ckpt 运行 Zero-1-to-3:
python launch.py --config configs/stable-zero123.yaml --train --gpu 0 data.image_path=./load/images/hamburger_rgba.png

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-12-15发表,共计1203字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。