一种名为内容一致性超分辨率(CCSR)的新图像增强方法

22次阅读
没有评论

共计 992 个字符,预计需要花费 3 分钟才能阅读完成。

由香港理工大学与 OPPO 研究院联合提出了一种名为内容一致性超分辨率(CCSR)的新图像增强方法,旨在提高基于扩散模型的超分辨率(SR)任务的稳定性。现有的基于扩散先验的 SR 方法在处理低分辨率(LR)图像时,往往会产生不同的输出结果,这种随机性对于文本到图像生成任务是有益的,但对于 SR 任务来说却是一个问题,因为 SR 任务期望图像内容能够被良好地保留。为了解决这个问题,CCSR 方法采用了扩散模型来细化图像结构,并利用对抗性训练来增强图像的精细细节。具体来说,提出了一种非均匀时间步长学习策略来训练一个紧凑的扩散网络,该网络在高效性和稳定性方面能够复制图像的主要结构,并通过对抗性训练对变分自编码器(VAE)的预训练解码器进行微调以增强细节。广泛的实验表明,CCSR 方法显著减少了基于扩散先验的 SR 的随机性,提高了 SR 输出的内容一致性,并加快了图像生成过程。

项目主页:https://csslc.github.io/project-CCSR

Colab 演示:https://github.com/camenduru/ccsr-colab

一种名为内容一致性超分辨率(CCSR)的新图像增强方法

主要贡献:

  • 提出了一种新的超分辨率技术,通过使用预训练的扩散模型来增强图像的感知质量。
  • 提出了一种非均匀时间步长学习策略来训练一个紧凑的扩散网络,以提高图像结构的生成效率和稳定性。
  • 通过对抗性训练微调预训练的 VAE 解码器,以增强图像的精细细节。

相关工作:

  • 讨论了使用深度学习进行超分辨率的方法,包括基于 CNN 和 Transformer 的方法。
  • 提到了使用生成对抗网络(GAN)来提高超分辨率图像的感知质量。
  • 讨论了基于扩散模型(DM)的超分辨率方法,以及它们在处理真实世界复杂退化时的挑战。

方法:

  • 结构细化阶段:使用非均匀时间步长采样策略从 LR 图像中提取信息,并生成图像结构。
  • 细节增强阶段:通过对抗性训练微调 VAE 解码器,以增强图像的精细细节。

实验:

  • 在合成数据集和真实世界数据集上进行了广泛的实验,包括 DIV2K、RealSR、DRealSR 等。
  • 与现有的基于 GAN 和 DM 的 SR 方法进行了比较,包括 BSRGAN、RealESRGAN、LDM-SR 等。
  • 提出了新的稳定性度量,包括全局标准差(G-STD)和局部标准差(L-STD),以评估 DM 基 SR 模型的稳定性。

结论:

  • CCSR 方法在保持图像内容一致性和提高图像质量方面表现出色,同时在 15 个采样步骤内实现了快速的图像生成过程。
正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-12发表,共计992字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码