出图效率大提升!Stability AI推出新开源模型SDXL Turbo,一秒即可生成高质量图片

322次阅读
没有评论

共计 1826 个字符,预计需要花费 5 分钟才能阅读完成。

在 AI 绘画领域大红大紫的公司 Stability AI 近期大招频出,前几天才发布 A I 视频生成模型 Stable Video Diffusion,当地时间 11 月 28 日又推出了新的开源文生图模型 SDXL Turbo,SDXL Turbo 是在 SDXL 1.0 的基础上采用新的蒸馏方案,让模型只需要一步就可以生成高质量图像,目前官方已经释出模型、论文以及官方演示。

开源地址:https://github.com/Stability-AI/generative-models

模型地址:https://huggingface.co/stabilityai/sdxl-turbo

论文地址:https://stability.ai/s/adversarial_diffusion_distillation.pdf

官方演示:https://clipdrop.co/stable-diffusion-turbo

SDXL Turbo

SDXL Turbo 是基于 SDXL 1.0 开发而成,并且使用了一种全新的对抗扩散蒸馏技术(ADD),将图像所需的生成步骤从 50 减少至 1—4 步,其整体架构如下所示,ADD 通过两个 loss 来进行蒸馏:一个是 adversarial loss,这里是定义一个 discriminator 来辨别生成的图像和真实的图像;二是采用常规的 distillation loss,让 student 的输出和 teacher 的输出一致,具体技术细节可参考论文。

出图效率大提升!Stability AI 推出新开源模型 SDXL Turbo,一秒即可生成高质量图片

SDXL Turbo 此次最重要的提升就是速度,不过可惜的是目前只能生成 512x512 的图像,但速度完全完全碾压其他模型,像是近期大火的 LCM-XL。可惜的是适配性上远不如 LCM-XL,对一些细节可能表现的不够好,例如人的手指、面部表情等,拟真度方面也完全无法与 SDXL 模型相比。只能期待官方后续改进以及网友们训练出更高质量的微调模型。

如果使用 SDXL Turbo?

目前有多种方法可以使用 SDXL Turbo 模型,今天就一一介绍给大家:

一、官方演示

之前就给大家介绍过 Stability AI 旗下的AI 图片编辑工具「ClipDro」,官方已经上线了 SDXL Turbo 模型,让大家可以免费试用。

官方演示:https://clipdrop.co/stable-diffusion-turbo

出图效率大提升!Stability AI 推出新开源模型 SDXL Turbo,一秒即可生成高质量图片

二、Google Colab

在 SDXL Turbo 释出后,也迅速有网友制作了 Colab 版本,不仅支持文本生图还支持图生图,要使用此版本自然就是友好的网络环境以及谷歌账号。

Colab 地址:https://colab.research.google.com/drive/1yRC3Z2bWQOeM4z0FeJ0rF6fnDTTSdnAJ?usp=sharing

出图效率大提升!Stability AI 推出新开源模型 SDXL Turbo,一秒即可生成高质量图片

出图效率大提升!Stability AI 推出新开源模型 SDXL Turbo,一秒即可生成高质量图片

三、ComfyUI

已经被官方收编的 ComfyUI 每次都是最先支持新模型,此次的 SDXL Turbo 自然也不在话下,ComfyUI 也在今天释出了官方工作流,将工作流拖入 ComfyUI 界面后就可以使用 SDXL Turbo 模型,SDXL Turbo 模型下载后放入 ComfyUI\models\checkpoints 目录下,输入提示词后点击提示词队列即可体验 SDXL Turbo。

模型下载地址:https://huggingface.co/stabilityai/sdxl-turbo/blob/main/sd_xl_turbo_1.0_fp16.safetensors

工作流下载地址:https://comfyanonymous.github.io/ComfyUI_examples/sdturbo

出图效率大提升!Stability AI 推出新开源模型 SDXL Turbo,一秒即可生成高质量图片

👇如果想体验 SDXL Turbo 快速生图能力,那么就勾选提示词队列下的更多选项,然后勾选Auto Queue

出图效率大提升!Stability AI 推出新开源模型 SDXL Turbo,一秒即可生成高质量图片

👇接着就可以边写提示词便查看生成的图片,可以说是实时 AI 绘画

出图效率大提升!Stability AI 推出新开源模型 SDXL Turbo,一秒即可生成高质量图片

结语

其实 Stability AI 官方也提供了一种在本地运行 SDXL Turbo 的方法,但搭建与运行比较麻烦,如果你的电脑配置不行可以使用官方演示,本地自然推荐大家使用 ComfyUI,如果嫌生成的图片太小细节不足,可以自行添加图片放大节点,对图片进一步放大。如果你没办法下载模型,可从下面的网盘下载:

网盘下载:https://www.123pan.com/s/I1oZVv-9dUGA.html 提取码:SVDX

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-11-29发表,共计1826字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。