共计 1826 个字符,预计需要花费 5 分钟才能阅读完成。
在 AI 绘画领域大红大紫的公司 Stability AI 近期大招频出,前几天才发布 A I 视频生成模型 Stable Video Diffusion,当地时间 11 月 28 日又推出了新的开源文生图模型 SDXL Turbo,SDXL Turbo 是在 SDXL 1.0 的基础上采用新的蒸馏方案,让模型只需要一步就可以生成高质量图像,目前官方已经释出模型、论文以及官方演示。
开源地址:https://github.com/Stability-AI/generative-models
模型地址:https://huggingface.co/stabilityai/sdxl-turbo
论文地址:https://stability.ai/s/adversarial_diffusion_distillation.pdf
SDXL Turbo
SDXL Turbo 是基于 SDXL 1.0 开发而成,并且使用了一种全新的对抗扩散蒸馏技术(ADD),将图像所需的生成步骤从 50 减少至 1—4 步,其整体架构如下所示,ADD 通过两个 loss 来进行蒸馏:一个是 adversarial loss,这里是定义一个 discriminator 来辨别生成的图像和真实的图像;二是采用常规的 distillation loss,让 student 的输出和 teacher 的输出一致,具体技术细节可参考论文。
SDXL Turbo 此次最重要的提升就是速度,不过可惜的是目前只能生成 512x512 的图像,但速度完全完全碾压其他模型,像是近期大火的 LCM-XL。可惜的是适配性上远不如 LCM-XL,对一些细节可能表现的不够好,例如人的手指、面部表情等,拟真度方面也完全无法与 SDXL 模型相比。只能期待官方后续改进以及网友们训练出更高质量的微调模型。
如果使用 SDXL Turbo?
目前有多种方法可以使用 SDXL Turbo 模型,今天就一一介绍给大家:
一、官方演示
之前就给大家介绍过 Stability AI 旗下的AI 图片编辑工具「ClipDro」,官方已经上线了 SDXL Turbo 模型,让大家可以免费试用。
二、Google Colab
在 SDXL Turbo 释出后,也迅速有网友制作了 Colab 版本,不仅支持文本生图还支持图生图,要使用此版本自然就是友好的网络环境以及谷歌账号。
Colab 地址:https://colab.research.google.com/drive/1yRC3Z2bWQOeM4z0FeJ0rF6fnDTTSdnAJ?usp=sharing
三、ComfyUI
已经被官方收编的 ComfyUI 每次都是最先支持新模型,此次的 SDXL Turbo 自然也不在话下,ComfyUI 也在今天释出了官方工作流,将工作流拖入 ComfyUI 界面后就可以使用 SDXL Turbo 模型,SDXL Turbo 模型下载后放入 ComfyUI\models\checkpoints
目录下,输入提示词后点击提示词队列即可体验 SDXL Turbo。
模型下载地址:https://huggingface.co/stabilityai/sdxl-turbo/blob/main/sd_xl_turbo_1.0_fp16.safetensors
工作流下载地址:https://comfyanonymous.github.io/ComfyUI_examples/sdturbo
👇如果想体验 SDXL Turbo 快速生图能力,那么就勾选提示词队列下的更多选项,然后勾选Auto Queue
👇接着就可以边写提示词便查看生成的图片,可以说是实时 AI 绘画
结语
其实 Stability AI 官方也提供了一种在本地运行 SDXL Turbo 的方法,但搭建与运行比较麻烦,如果你的电脑配置不行可以使用官方演示,本地自然推荐大家使用 ComfyUI,如果嫌生成的图片太小细节不足,可以自行添加图片放大节点,对图片进一步放大。如果你没办法下载模型,可从下面的网盘下载:
网盘下载:https://www.123pan.com/s/I1oZVv-9dUGA.html 提取码:SVDX