Adobe推出视频背景生成模型ActAnywhere

共计 456 个字符，预计需要花费 2 分钟才能阅读完成。

Adobe 发布了一个名为 ActAnywhere 的视频背景生成模型。该模型基于扩散模型，用于根据给定的前景分割序列和背景条件帧来生成视频。主要的能力是把原视频主体分割后加上一张静态图片从而生成新的视频，并保证原有视频内容和图片的融合度。

项目主页：https://actanywhere.github.io

特点：

1. 提出了一种新的问题，即自动化的基于主体的视频背景生成。该问题涉及为电影行业和视觉效果社区生成适应前景主体运动和外观的视频背景。
2. 提出了 ActAnywhere 模型，该模型解决了这个问题。它利用大规模视频扩散模型的强大能力，并专门针对这一任务进行了优化。
3. 在大规模人类 - 场景交互视频数据集上进行了自我监督训练。广泛的评估证明了该模型能够生成具有逼真主体 - 场景交互、摄像机运动、光照和阴影的视频，并且可以推广到非人类主体。
4. 与多种基线进行了比较，包括基于视频的和无视频的基线。结果表明 ActAnywhere 明显优于这些基线。
5. 分析了模型的泛化能力，包括零样本视频修复和对不准确分割的鲁棒性。同时，分析了模型的运行时间。