共计 1968 个字符,预计需要花费 5 分钟才能阅读完成。
昨天在《字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」》里就说了制作长视频,处理 Motion Sequence(运动序列)就是个非常麻烦的事情,不过已经有团队释出了开源项目 Vid2DensePose,让大家可以轻松处理视频制作成 Motion Sequence 视频,然后用于 MagicAnimate 生成视频。
Vid2DensePose
Vid2DensePose 是一个强大的工具,旨在将 DensePose 模型应用于视频,为每个帧生成详细的“Part Index(部位索引)”可视化。这个工具在增强动画方面非常有用,特别是与 MagicAnimate 结合使用时,可以实现时间上连贯的人体图像动画效果。
前期准备
「MagicAnimate」由于使用 SD1.5 模型以及官方范例的照片和 Motion Sequence(运动序列)都是 1:1 比例的大小,也就是 512X512,所以大家准备的视频尺寸最好是 1:1 比例(512X512),可以在转换前处理也可转换后处理。大家可以使用 ffmpeg 进行处理,也可以使用其他视频编辑软件进行处理。
1、使用 命令提示符(CMD)或者 终端,使用以下 ffmpeg 命令:
将视频修改为 512×512 尺寸,其中 XXX 为视频名,请修改为自己的视频名,视频请用英文命名
ffmpeg -i XXX.mp4 -s 512x512 -c:a copy XXX-512.mp4
对视频长度进行截取,MagicAnimate 生成视频所需时间较长,因此建议 Motion Sequence 视频不要过长
ffmpeg -i XXX-512.mp4 -ss 00:00:00 -t 00:00:04 -async 1 XXX-512-trimmed.mp4
2、HandBrake
如果你觉得 ffmpeg 命令进行处理太麻烦,你可以使用其他视频编辑软件进行处理,小编推荐大家使用开源视频转码软件 HandBrake,此软件支持支持 macOS、Windows 和 Linux 平台,支持修改视频尺寸、码率以及截取,还支持批量处理。
官网地址:https://handbrake.fr
网盘备份:https://pan.baidu.com/s/1M6S9PR81-q4CykhGzCTL_Q?pwd=qzxs
如何安装 Vid2DensePose?
一、Hugging Face
目前已经有网友在 Hugging Face 上搭建了此应用,上传或录制视频后,点击 Submit 后即可开始处理视频。
👇处理完后即可下载,目前使用人数不多,处理速度不错
二、Google Colab
开发者也制作了 Colab 版本,使用 Colab 版本版本可以制作出与官方范例的 Motion Sequence 视频一样的效果,要使用 Colab 版本自然就是需要你有谷歌账号和网络环境
地址:https://colab.research.google.com/drive/1x77dESn7EGPCqjKdQ1sJJhNu0Cf-5Gpt?usp=sharing
1、进入 Colab 后点击 Install the libraries 下的播放按钮,下载此项目、模型及第三方依赖
👇如弹出此窗口,点击 任然运行 即可开始下载运行
👇需要约 4 分钟才能下载完
2、点击左侧边栏的文件夹选项,然后点击上传按钮,上传视频进行处理
👇将 INPUT_VIDEO_PATH 后的视频名 output_video.mp4 改为上传的视频名称,如本人上传的视频名为 Habin.mp4,那么此次就要改为 Habin.mp4;OUTPUT_VIDEO_PATH 后的视频文件名也可以更改
👇点击播放按钮可以进行视频处理
3、处理完毕后,点击刷新按钮可以看到处理完的视频,就可以下载保存
👇生成的效果
三、本地安装
此项目目前给出的安装方法在 Windows 下安装会出错,开发者也会在回复他人时表示目前在 Windows 系统上安装会出问题,建议大家在 Linux 上进行安装或者在 Windows Subsystem for Linux (WSL) 上安装,这里小编就不做介绍了,期待开发者后续改进。
结语
Vid2DensePose 才上架 GitHub,Windows 平台上安装此项目问题还不少,因此目前建议大家使用 Hugging Face、Google Colab 上网友们搭建的版本。