抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

397次阅读
没有评论

共计 3903 个字符,预计需要花费 10 分钟才能阅读完成。

AI 视频生成领域近期算是非常热闹,明星创业公司如 Runway 旗下 AI 视频生成工具 Gen2「Morph Studio」 和「Moonvalley」,Stability AI 也推出了 AI 视频生成模型 Stable Video Diffusion,互联网大厂们也不甘示弱,阿里的研究团队才公布 AI 动画生成框架 Animate Anyone 引发关注,新加坡国立大学和字节跳动就在昨天直接公布了新的 AI 动画生成框架 MagicAnimate,它的作用简单来说就是:一张图片 + 一组动作 = 视频。目前 MagicAnimate 已经上架 GitHub 开源并释出模型,今天小编就来教大家如何在本地安装 MagicAnimate,快来看看吧!

MagicAnimate

MagicAnimate 是由新加坡国立大学 Show 实验室和字节跳动联合联合打造,它们提出了一个基于扩散的 AI 动画生成框架,旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。它能够将指定的人物图片与动作相结合,生成视频。MagicAnimate 是基于 StableDiffusion V1.5 基本模型,用户只需输入照片和动作,AI 便会生成相应的视频,从目前生成的效果来说还比较粗糙,但随着技术发展,之后取代抖音小姐姐也并非空想。关于 MagicAnimate 具体技术细节可进入项目主页,查看该技术论文。

项目地址:https://showlab.github.io/magicanimate

GitHub 地址:https://github.com/magic-research/magic-animate

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

如何安装 MagicAnimate?

一、官方 Demo

目前官方在 Hugging Face 上搭建了官方 Demo,由试玩人数过多,目前该 Demo 基本无法运行。

地址:https://huggingface.co/spaces/zcxu-eric/magicanimate

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

二、Google Colab

官方 Demo 无法运行,就有网友制作了 Colab 版本,可以一键运行 MagicAnimate。

GitHub 地址:https://github.com/camenduru/MagicAnimate-colab

Colab 地址:https://colab.research.google.com/github/camenduru/MagicAnimate-colab/blob/main/MagicAnimate_colab.ipynb

进入 Colab 后点击左上方的播放按钮,下载 MagicAnimate 项目与模型

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

👇下载完毕后,在出现下面这两个链接后,点击 public UR 即可进入 MagicAnimate 页面

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

👇从下面的例子中挑选一个,然后替换图片,点击 Animate 即可开始生成视频。具体操作步骤将在下面的本地安装方法里进行讲解

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

三、本地安装

本人以 Windows11 系统安装为例,要安装 MagicAnimate,还有前提条件:python>=3.8CUDA>=11.3ffmpeg 和 git,大家需要先安装这几个软件后才能进行下一步安装,而 CUDAffmpeg会有环境变量的问题,可以参考《「FaceFusion」安装教程》里如何设置环境变量

如果网络环境允许,可使用以下命令行来安装 Python、GIT 和 FFmpeg,请在 命令提示符(CMD)或者 终端 进行下载及安装:

Python
winget install -e --id Python.Python.3.10
GIT
winget install -e --id Git.Git
FFmpeg
winget install -e --id Gyan.FFmpeg

1、安装完以上软件后即可正式开始安装 MagicAnimate,选择安装位置,需要注意的是安装路径不要有中文,使用以下代码下载此项目:

git clone https://github.com/magic-research/magic-animate.git

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

👇使用 命令提示符(CMD)或者 终端 进行下载及安装,右键单击即可选择 终端 打开

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

2、下载完 MagicAnimate 后,需要为 MagicAnimate 安装及激活 python 环境,使用以下命令:

cd magic-animate
python -m venv venv
.\venv\Scripts\activate

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

3、接下来就需要安装第三方依赖,但官方 GitHub 页面给出的安装方法是 Linux 系统的安装方法,按照官方的方法在 Windows 上安装会出错,解决方法就是使用 B 站大佬 "青龙圣者" 修改后的版本里的 requirements-windows.txt 文件

GitHub 地址:https://github.com/sdbds/magic-animate-for-windows/tree/main

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

👇下载 requirements-windows.txt 文件后将此文件放到 magic-animate 文件夹内

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

4、使用以下代码安装第三方依赖,目前国内网络环境安装都是调用清华的源进行下载

pip install  -r requirements-windows.txt

如果想更换源,可以直接在后面加 -i,如

pip install  -r requirements-windows.txt  -i https://mirror.baidu.com/pypi/simple

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

5、接下来就是下载模型,MagicAnimate 需要 StableDiffusion V1.5 模型、MSE-finetuned VAE 以及 MagicAnimate 模型

 StableDiffusion V1.5 下载地址:https://huggingface.co/runwayml/stable-diffusion-v1-5

VAE 下载地址:https://huggingface.co/stabilityai/sd-vae-ft-mse

MagicAnimate 地址:https://huggingface.co/zcxu-eric/MagicAnimate

在 magic-animate 文件夹 新建文件夹 并命名为pretrained_models,在此文件夹下新建对应文件夹将模型以及 VAE 放入其内

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

👇下载后文件名需要与下图作对应,小编已经将模型下载后上传到国内网盘,大家可以从网盘下载

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

6、模型安装完毕后就可以启动 MagicAnimate,如果你是单张英伟达显卡,使用以下命令来启动:

python -m demo.gradio_animate

多显卡:

python -m demo.gradio_animate_dist

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

👇加载完模型后即出现下面两个网址,使用 Ctrl+ 单击鼠标左键即可打开 MagicAnimate

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

7、在 magic-animate 文件夹下新建一个文本文档,输入以下命令行,然后将文件名从.txt 改为.bat,之后点击该.bat 文件即可快速启动应用

@echo off
echo 正在激活虚拟环境...
call venv\Scripts\activate

echo 正在运行 Gradio Animate...
python -m demo.gradio_animate

echo 按任意键退出...
pause >nul

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

如何使用 MagicAnimate?

上传图片 + 运动视频,点击 Animate 即可开始生成视频,不过运动视频需要处理与官方范例相同才可以进行生成,这就是需要你使用视频编辑软件利用蒙版等方法进行处理,还需要对身体各部位进行标色处理,最简单的做法自然就是套用官方的范例来进行生成了

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

1、选择一个范例,在图片处图片右上方点击 x,删除该图片后上传一张新的图片,由于使用 SD1.5 模型以及官方范例的照片和 Motion Sequence(运动序列)都是 1:1 比例的大小,也就是 512X512,所以替换图最好也是 1:1 比例,不然生成的视频会有崩坏的情况出现

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

2、首次生成视频,速度会很慢,比如小编的英伟达 RTX4070 显卡首次生成视频耗时 6 分多钟,第二次就会快不少

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

👇对于显存的占用非常高,如果你的显卡不好,那么就不要安装此应用了,因此建议大家《AI 革命来临!什么样的电脑配置才适应时代?AI 大模型运行所需电脑配置大揭秘

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

3、生成的视频可下载,也可以在此目录下 magic-animate\demo\outputs 找到,通过视频编辑软件做进一步处理即可使用,不过目前生成的视频并不完美,希望之后能够支持 SDXL 模型或者其他 SD 模型

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

结语

从目前生成的视频效果来看,目前远不如一些自媒体吹嘘的抖音小姐姐失业什么的程度,期待官方后续继续改进以及大神们开发出更多的玩法,本人已将此项目下载上传到国内网盘,如果自己安装不好,可以进去网盘进行下载:

123 网盘:https://www.123pan.com/s/I1oZVv-9EUGA.html 提取码:AudV

百度网盘:https://pan.baidu.com/s/1TEY4_38XPSJegHkDfCptgQ?pwd=r84x 

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-12-07发表,共计3903字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码