ComfyUI大更新!正式支持Stable Video Diffusion模型,8G显卡即可生成视频

980次阅读
没有评论

共计 2049 个字符,预计需要花费 6 分钟才能阅读完成。

Stability AI 在近期推出了 AI 视频生成模型 Stable Video Diffusion,之前网友测试此模型至少需要带有 20G 显存的显卡才能勉强运行,而已经被官方收编的 ComfyUI 在当地时间 11 月 24 日宣布对程序进行了升级更新,正式支持 Stable Video Diffusion。ComfyUI 表示本次更新之后,用户可以使用 7 年前 8GB 显存的英伟达 GTX 1080 显卡(2016 年 5 月发布),生成分辨率为 1024*576、长度为 25 帧的视频。而 AMD 方面支持的最低门槛是 6800 XT,可以在 Linux 系统中运行 ROCm,图片生成视频大约需要 3 分钟时间。

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

ComfyUI

ComfyUI 是 Stable Diffusion 的图形用户界面,使用图形 / 节点界面,帮助用户构建复杂的工作流程。如何安装与使用,小编已经在《下一代 Stable Diffusion?Stable Diffusion XL0.9(SDXL 0.9)本地安装使用教程,简单提示词就能生成精美图片》进行了介绍。

ComfyUI 地址:https://github.com/comfyanonymous/ComfyUI

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

如何生成视频?

1、首先就是升级 ComfyUI,如果你还没有安装就从上面的 GitHub 链接下载,如果网络环境不允许,小编已经将本文所需所有软件和模型下载后上传到国内网盘,本文以 Windows 平台为例。

网盘下载:https://www.123pan.com/s/I1oZVv-9dUGA.html 提取码:SVDX

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

👇如果你已经安装了 ComfyUI,那么可以按照插件 ComfyUI Manager,通过 ComfyUI Manager 来升级 ComfyUI;此插件也已经上传到网盘,下载后解压到ComfyUI\custom_nodes 目录下,重启 ComfyUI 即可

ComfyUI Manager 地址:https://github.com/ltdrdata/ComfyUI-Manager

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

2、官方已经为大家提供了两个工作流程脚本(图片生成视频和文本生成视频),直接将脚本拖入 ComfyUI 界面即可使用

脚本页面:https://comfyanonymous.github.io/ComfyUI_examples/video

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

3、图片生成视频(脚本为 workflow_image_to_video)

工作流程脚本拖入后就会呈现以下工作页面,生成视频需要下载 svd.safetensors 模型,下载模型后将模型放入 ComfyUI\models\checkpoints 目录下,上传图片即可进行视频生成,其余参数可根据自己需求进行设置,生成的视频是 WEBP 格式,可以导入其他视频剪辑软件进行剪辑。

对参数的一些解释:

  • video_frames: 要生成的视频帧数
  • motion_bucket_id: 数字越大,视频中的运动越多
  • fps: fps 越高,视频流畅度越高

模型下载地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

4、文本生成视频(脚本为 workflow_txt_to_img_to_video)

工作流程脚本拖入后就会呈现以下工作页面,生成视频需要下载 svd_xt.safetensors 模型,下载模型后将模型放入 ComfyUI\models\checkpoints 目录下,载入你喜欢的文生图模型,然后填写提示词,其余参数可根据自己需求进行设置,生成的视频是 WEBP 格式,可以导入其他视频剪辑软件进行剪辑。

模型下载地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

5、如果生成的 webp 格式动图无法在视频编辑软件里编辑,可以使用在线工具 Ezgif 进行转换,将 webp 转换为 MP4 后再进行编辑

地址:https://ezgif.com/webp-to-mp4

ComfyUI 大更新!正式支持 Stable Video Diffusion 模型,8G 显卡即可生成视频

结语

经过小编的测试,8G 显存的英伟达显卡就可以生成视频,如果你还没有显卡,那么小编推荐大家购买英伟达 RTX4060TI 16G 如果你还没有显卡,那么推荐大家查看《AI 大模型运行所需电脑配置大揭秘》,官方给出的工作流程脚本还是比较简单的,大家可以自己添加需要的节点或者其他大神分享的脚本,希望后续 ControlNet 能够支持 Stable Video Diffusion 模型,大家快来试试这个模型吧!对了,此次 ComfyUI 更新还增加了对 LCM 模型、ZSNR V 预测模型等,大家可以去官方博客查看此次更新具体内容。

官方地址:https://blog.comfyui.ca/comfyui/update/2023/11/24/Update.html

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-11-25发表,共计2049字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。