Adobe推出视频背景生成模型ActAnywhere

44次阅读
没有评论

共计 456 个字符,预计需要花费 2 分钟才能阅读完成。

Adobe 发布了一个名为 ActAnywhere 的视频背景生成模型。该模型基于扩散模型,用于根据给定的前景分割序列和背景条件帧来生成视频。主要的能力是把原视频主体分割后加上一张静态图片从而生成新的视频,并保证原有视频内容和图片的融合度。

项目主页:https://actanywhere.github.io

Adobe 推出视频背景生成模型 ActAnywhere

特点:

  1. 提出了一种新的问题,即自动化的基于主体的视频背景生成。该问题涉及为电影行业和视觉效果社区生成适应前景主体运动和外观的视频背景。
  2. 提出了 ActAnywhere 模型,该模型解决了这个问题。它利用大规模视频扩散模型的强大能力,并专门针对这一任务进行了优化。
  3. 在大规模人类 - 场景交互视频数据集上进行了自我监督训练。广泛的评估证明了该模型能够生成具有逼真主体 - 场景交互、摄像机运动、光照和阴影的视频,并且可以推广到非人类主体。
  4. 与多种基线进行了比较,包括基于视频的和无视频的基线。结果表明 ActAnywhere 明显优于这些基线。
  5. 分析了模型的泛化能力,包括零样本视频修复和对不准确分割的鲁棒性。同时,分析了模型的运行时间。
正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-23发表,共计456字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码