一种名为内容一致性超分辨率（CCSR）的新图像增强方法

共计 992 个字符，预计需要花费 3 分钟才能阅读完成。

由香港理工大学与 OPPO 研究院联合提出了一种名为内容一致性超分辨率（CCSR）的新图像增强方法，旨在提高基于扩散模型的超分辨率（SR）任务的稳定性。现有的基于扩散先验的 SR 方法在处理低分辨率（LR）图像时，往往会产生不同的输出结果，这种随机性对于文本到图像生成任务是有益的，但对于 SR 任务来说却是一个问题，因为 SR 任务期望图像内容能够被良好地保留。为了解决这个问题，CCSR 方法采用了扩散模型来细化图像结构，并利用对抗性训练来增强图像的精细细节。具体来说，提出了一种非均匀时间步长学习策略来训练一个紧凑的扩散网络，该网络在高效性和稳定性方面能够复制图像的主要结构，并通过对抗性训练对变分自编码器（VAE）的预训练解码器进行微调以增强细节。广泛的实验表明，CCSR 方法显著减少了基于扩散先验的 SR 的随机性，提高了 SR 输出的内容一致性，并加快了图像生成过程。

项目主页：https://csslc.github.io/project-CCSR

Colab 演示：https://github.com/camenduru/ccsr-colab

• 提出了一种新的超分辨率技术，通过使用预训练的扩散模型来增强图像的感知质量。
• 提出了一种非均匀时间步长学习策略来训练一个紧凑的扩散网络，以提高图像结构的生成效率和稳定性。
• 通过对抗性训练微调预训练的 VAE 解码器，以增强图像的精细细节。

相关工作：

• 讨论了使用深度学习进行超分辨率的方法，包括基于 CNN 和 Transformer 的方法。
• 提到了使用生成对抗网络（GAN）来提高超分辨率图像的感知质量。
• 讨论了基于扩散模型（DM）的超分辨率方法，以及它们在处理真实世界复杂退化时的挑战。

方法：

• 结构细化阶段：使用非均匀时间步长采样策略从 LR 图像中提取信息，并生成图像结构。
• 细节增强阶段：通过对抗性训练微调 VAE 解码器，以增强图像的精细细节。

实验：

• 在合成数据集和真实世界数据集上进行了广泛的实验，包括 DIV2K、RealSR、DRealSR 等。
• 与现有的基于 GAN 和 DM 的 SR 方法进行了比较，包括 BSRGAN、RealESRGAN、LDM-SR 等。
• 提出了新的稳定性度量，包括全局标准差（G-STD）和局部标准差（L-STD），以评估 DM 基 SR 模型的稳定性。

结论：

• CCSR 方法在保持图像内容一致性和提高图像质量方面表现出色，同时在 15 个采样步骤内实现了快速的图像生成过程。