MagicAnimate的好帮手!最新开源项目Vid2DensePose,一键快速生成模板视频

711次阅读
没有评论

共计 1968 个字符,预计需要花费 5 分钟才能阅读完成。

昨天在《字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」》里就说了制作长视频,处理 Motion Sequence(运动序列)就是个非常麻烦的事情,不过已经有团队释出了开源项目 Vid2DensePose,让大家可以轻松处理视频制作成 Motion Sequence 视频,然后用于 MagicAnimate 生成视频。

Vid2DensePose

Vid2DensePose 是一个强大的工具,旨在将 DensePose 模型应用于视频,为每个帧生成详细的“Part Index(部位索引)”可视化。这个工具在增强动画方面非常有用,特别是与 MagicAnimate 结合使用时,可以实现时间上连贯的人体图像动画效果。

GitHub 地址:https://github.com/Flode-Labs/vid2densepose

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

前期准备

「MagicAnimate」由于使用 SD1.5 模型以及官方范例的照片和 Motion Sequence(运动序列)都是 1:1 比例的大小,也就是 512X512,所以大家准备的视频尺寸最好是 1:1 比例(512X512),可以在转换前处理也可转换后处理。大家可以使用 ffmpeg 进行处理,也可以使用其他视频编辑软件进行处理。

1、使用 命令提示符(CMD)或者 终端,使用以下 ffmpeg 命令:

将视频修改为 512x512 尺寸,其中 XXX 为视频名,请修改为自己的视频名,视频请用英文命名

ffmpeg -i XXX.mp4 -s 512x512 -c:a copy XXX-512.mp4

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

对视频长度进行截取,MagicAnimate 生成视频所需时间较长,因此建议 Motion Sequence 视频不要过长

ffmpeg -i XXX-512.mp4 -ss 00:00:00 -t 00:00:04 -async 1 XXX-512-trimmed.mp4

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

2、HandBrake

如果你觉得 ffmpeg 命令进行处理太麻烦,你可以使用其他视频编辑软件进行处理,小编推荐大家使用开源视频转码软件 HandBrake,此软件支持支持 macOS、Windows 和 Linux 平台,支持修改视频尺寸、码率以及截取,还支持批量处理。

官网地址:https://handbrake.fr

网盘备份:https://pan.baidu.com/s/1M6S9PR81-q4CykhGzCTL_Q?pwd=qzxs

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

如何安装 Vid2DensePose?

一、Hugging Face

目前已经有网友在 Hugging Face 上搭建了此应用,上传或录制视频后,点击 Submit 后即可开始处理视频。

地址:https://huggingface.co/spaces/fffiloni/video2densepose

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

👇处理完后即可下载,目前使用人数不多,处理速度不错

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

二、Google Colab

开发者也制作了 Colab 版本,使用 Colab 版本版本可以制作出与官方范例的 Motion Sequence 视频一样的效果,要使用 Colab 版本自然就是需要你有谷歌账号和网络环境

地址:https://colab.research.google.com/drive/1x77dESn7EGPCqjKdQ1sJJhNu0Cf-5Gpt?usp=sharing

1、进入 Colab 后点击 Install the libraries 下的播放按钮,下载此项目、模型及第三方依赖

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

👇如弹出此窗口,点击 任然运行 即可开始下载运行

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

👇需要约 4 分钟才能下载完

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

2、点击左侧边栏的文件夹选项,然后点击上传按钮,上传视频进行处理

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

👇将 INPUT_VIDEO_PATH 后的视频名 output_video.mp4 改为上传的视频名称,如本人上传的视频名为 Habin.mp4,那么此次就要改为 Habin.mp4;OUTPUT_VIDEO_PATH 后的视频文件名也可以更改

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

👇点击播放按钮可以进行视频处理

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

3、处理完毕后,点击刷新按钮可以看到处理完的视频,就可以下载保存

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

👇生成的效果

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

三、本地安装

此项目目前给出的安装方法在 Windows 下安装会出错,开发者也会在回复他人时表示目前在 Windows 系统上安装会出问题,建议大家在 Linux 上进行安装或者在 Windows Subsystem for Linux (WSL) 上安装,这里小编就不做介绍了,期待开发者后续改进。

MagicAnimate 的好帮手!最新开源项目 Vid2DensePose,一键快速生成模板视频

结语

Vid2DensePose 才上架 GitHub,Windows 平台上安装此项目问题还不少,因此目前建议大家使用 Hugging Face、Google Colab 上网友们搭建的版本。

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-12-09发表,共计1968字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。