共计 3902 个字符,预计需要花费 10 分钟才能阅读完成。
在 Stable Diffusion XL 0.9 版本泄露半个月后,Stability AI 终于在北京时间 7 月 27 日正式发布 Stable Diffusion XL 首个正式版 1.0,相对于 0.9 版本,SDXL 1.0 能生成更加鲜明准确的色彩,在对比度、光线和阴影方面做了增强,可生成 100 万像素的图像(1024 x 1024),这直接对标的就是 Midjourney 和 Adobe Firefly,官方除了提供消费级应用 ClipDrop 和 DreamStudio,Stable Diffusion XL 1.0 版本也已经在 GitHub 上以开源形式发布,目前已经可以在本地电脑上运行,今天就一起来看看吧!
Stable Diffusion XL 1.0(SDXL 1.0)
Stable Diffusion XL(SDXL)1.0 的基础模型拥有 35 亿个参数,模型组合管线则高达 66 亿个参数,其优化器(refiner)能为基础模型产出图片加入更准确的色彩、更高对比及更多细节,Stability API 也强化微调、定制化功能,让用户可用最少 5 张图片就能针对特定人士、产品或物件定制图片。Stability AI 表示新功能目前正在和几家合作伙伴测试,未来几周内会正式释出。此外,Stability AI 也宣布与亚马逊 AWS 达成合作,SDXL 1.0 已经登上 AWS AI 模型服务 Amazon Bedrock,而 AWS 机器学习演算法中心 Amazon SageMaker JumpStart 也将加入 SDXL 1.0。
官方说明文章:https://stability.ai/blog/stable-diffusion-sdxl-1-announcement
如何使用SDXL 1.0?
对于如何使用 SDXL 1.0,官方也已经提供了多种方法,如果你电脑里的显卡不好,可以使用官方提供的服务 ClipDrop 和 DreamStudio,或者亚马逊的云服务,电脑配置好那就可以下载官方开源的模型,在本地运行:
1、ClipDro
ClipDrop 是 Stability AI 旗下的 AI 工具,目前提供了 AI 去背景、AI 调光、无损放大、AI 去水印等,自然也提供了 SDXL 服务,可以使用更短的提示语与选择图片风格、尺寸进行生成图片,无需注册账号即可使用,但需要排队,注册账号后排队时间会缩短。(具体可参考:Stability AI 旗下的 AI 图片编辑工具「ClipDro」)
👇没有写反向提示词,生成的猫咪图
2、DreamStudio
DreamStudio 是 Stability AI 旗下官方版 Stable Diffusion,用户注册后就可以免费试用,免费用户可以生成约 110 张图片,不过使用 SDXL 1.0 模型需要的点数较高,如果小编生成 4 张图就需要 7.2 个点数,如果再使用就需要进行充值。(相关:Stability AI 推出 DreamStudio 开源版本 StableStudio)
DreamStudio 官方网址:https://dreamstudio.ai/generate
3、Stable Foundation Discord
Stability AI 已经在 Discord 上线了 SDXL 1.0 模型供大家免费体验,用户可以像在 Midjourney 一样直接输入 prompt 生图,不用再本地部署模型,操作门槛大大降低。(具体可参考:SDXL 1.0 模型登录 Discord 开启公测,你还不来试试!)
4、API、AWS Sagemaker 和 AWS Bedrock
Stability AI 也像 OpenAI 一样提供了 Stable Diffusion XL 系列的 API,不过这一项主要针对开发者,对于普通用户来说并不实用;如果你的电脑配置不高,可以在亚马逊的 AWS 上使用 SDXL 1.0。
Stability AI Platform:https://platform.stability.ai
AWS Sagemaker:https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html
AWS Bedrock:https://aws.amazon.com/bedrock
5、本地安装使用 SDXL 1.0
Stable Diffusion XL 1.0 版本也已经在 GitHub 上以开源形式发布,大家可以可以直接在 GitHub 上下载安装,不过小编相信应该没有多少人会直接用官方的原版,毕竟命令行界面不是每个人都可以适应的,目前已经有非常多第三方带 UI 界面的程序可以使用,比如 Stable Diffusion web UI、ComfyUI 和 InvokeAI,而在这些第三方程序中使用 SDXL 1.0 就需要下载模型和 vae。
Stable Diffusion web UI
目前最流行的本地 Stable Diffusion 应该就是 AUTOMATIC1111 开发的 Stable Diffusion web UI,Stable Diffusion web UI 从 1.5 版就已经支持 SDXL 1.0, 将下载的模型放入【models\Stable-diffusion】文件夹下,vae 放入【models\VAE】文件夹下即可,启动 Stable Diffusion web UI 后,将文生图界面大模型处选择【sd_xl_base_1.0.safetensors】,vae 选择【sdxl_vae.safetensors】,尺寸设置最低为 1024X1024,其他方法设置与之前使用其他模型相同,生成图片后,点击【发送到图生图】
开源地址:https://github.com/AUTOMATIC1111/stable-diffusion-webui
在图生图界面将大模型换成【sd_xl_refiner_1.0.safetensors】,重绘幅度处设置小于 0.5,其他设置保存不变,点击生成即可。
ComfyUI
ComfyUI 小编在之前 Stable Diffusion XL0.9 模型的时候已经给大家介绍过了,具体下载安装使用可参考:Stable Diffusion XL0.9(SDXL 0.9)本地安装使用教程,简单提示词就能生成精美图片
InvokeAI
InvokeAI 号称是面向专业人士的 AI 绘画工具,其实也就是为 Stable Diffusion 套了一层壳,相比 Stable Diffusion web UI,InvokeAI 的界面更像官方的 DreamStudio,对于插件等支持并不如 Stable Diffusion web UI,目前 InvokeAI 3.0 版本已经支持 SDXL 1.0。
开源地址:https://github.com/invoke-ai/InvokeAI
下载地址:https://github.com/invoke-ai/InvokeAI/files/12123253/InvokeAI-installer-v3.0.0.zip
下载 InvokeAI 3.0 版本解压在一个没有中文字符的路径文件夹下,然后点击【install.bat】进行安装即可,目前 InvokeAI 3.0 安装下载文件方面,如果你使用国内 IP 那么就直接从腾讯云下载所需文件,你无需科学上网即可安装
👇在安装到最后需要下载模型的时候需要从 GitHub 下载文件,你可以直接跳过,后续直接从其他地方下载模型即可
安装完毕后,在文件夹内点击【invoke】即可启动,而下载的模型需要放到【InvokeAI-installer-v3.0.0\models】文件夹内,InvokeAI 3.0 比较特别的是它模型文件夹按照 Stable Diffusion1.5、2.1 和 SDXL 进行了分类,根据你下载的模型版本放入即可,SDXL 1.0 基础模型放入【models\sdxl\main】内,refiner 模型放入【models\sdxl-refiner\main】内
目前支持 SDXL 1.0 的是 3.0.1rc3 版本,开启 InvokeAI 后,填写提示词后选择模型与设置,然后开启 Refiner 保持相同设置,降低重绘幅度后即可点击 Invoke 生成图片。
结语
SDXL 1.0 在本地运行至少需要 8G 显存才可以运行,如果你的显卡不行,小编还是建议你使用 ClipDrop 和 DreamStudio,而本地运行方面 ComfyUI 在运行 SDXL 1.0 效率最高,生成图片所需时间最短,但大家可能使用并不习惯,目前 SDXL 1.0 对于生成物品、场景和欧美人物较好,对于亚洲人物效果可以说很差,大家还是期待大神们基于 SDXL 1.0 训练更多针对性的大模型吧!
PS:小编已经将 SDXL 1.0 模型下载进行了打包上传网盘,扫码关注本站公众号回复“SDXL”即可获取密码。
输入密码可见
