视频生成模型DragNUWA更新1.5版本,可精细控制视频物体的运动路径

133次阅读
没有评论

共计 697 个字符,预计需要花费 2 分钟才能阅读完成。

来自中国科学技术大学、微软亚研和北京大学的研究者提出的一种基于开放域扩散的新型视频生成模型 DragNUWA,近期更新了 1.5 版本,还在 GitHub 上开源了代码,并在 Hugging Face 与 Colab 上线了 Demo,让大家可以在线体验。这个新版本的功能让用户在通过图像生成视频之前,能够在图像上画出对应方向的箭头标记。用户标记的不是具体的物体,镜头就会按照用户标记的方向运动。用户标记的是具体的物体,这个物体就会按照标记的方向运动。DragNUWA1.5 版本的功能可以通过人工智能技术实现,通过识别用户在图像上的标记,自动调整视频画面的运动方向。

项目主页:https://www.microsoft.com/en-us/research/project/dragnuwa

GitHub 地址:https://github.com/ProjectNUWA/DragNUWA

Demo 地址:https://huggingface.co/spaces/yinsming/DragNUWA

视频生成模型 DragNUWA 更新 1.5 版本,可精细控制视频物体的运动路径

如何使用?

1、通过“Upload Image”按钮上传图像

2、添加控制路径

  1. 当你想添加一个控制路径时,点击“Add Drag”
  2. 您可以添加多条控制路径
  3. 单击“Delete last drag”删除整个最后一次拖动的路径

3、单击 "Run" 就可开始动画生成

视频生成模型 DragNUWA 更新 1.5 版本,可精细控制视频物体的运动路径

GitHub 上开源的项目是运行在 Linux 上的,大家就不要尝试在 Windows 上运行了。目前已经有开发者开发出了 ComfyUI 插件,大家可以在 ComfyUI 上使用 DragNUWA。

GitHub 地址:https://github.com/chaojie/ComfyUI-DragNUWA

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-12发表,共计697字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。