共计 878 个字符，预计需要花费 3 分钟才能阅读完成。
Google 推出了一种估算照片中光照条件的新方法 DiffusionLight，通过在单张输入图像中渲染一个镀铬球来估计光照。这种方法利用了在数十亿标准图像上训练的扩散模型，以生成具有高动态范围（HDR）的镀铬球。尽管任务简单，但扩散模型在生成镀铬球时经常插入错误或不一致的对象，并且不能直接生成 HDR 格式的图像。研究揭示了镀铬球外观与初始扩散噪声图之间的惊人关系，作者利用这一关系来提高生成质量。该方法在多种设置下产生令人信服的光照估计，并在野外场景中表现出优越的泛化能力。简而言之就是检测图片中的光源（光照信息），然后根据光源，把其他物体对象插入到图片中，能达到相同的光影效果，毫无违和感。
方法：
- 使用预训练的扩散模型（Stable Diffusion XL）和深度条件控制网络来填充镀铬球。
- 提出了一种迭代填充算法，通过样本平均来定位良好的初始噪声图区域。
- 使用 LoRA 微调技术进行曝光括号，以产生具有不同曝光值的多个 LDR 镀铬球。
工作原理如下：
1、输入图片：你提供一张照片，比如一个室内场景。
2、添加铬球：使用 DiffusionLight 技术，在照片中的合适位置绘制一个铬球。这个球会反射出场景中的光线和色彩。
3、生成环境图：铬球的反射可以被转换成一个高动态范围（HDR）的环境图，这张图像包含了关于场景光照的信息。
4、光照估计：通过分析铬球上的反射，DiffusionLight 估计出图片中的光源位置和亮度。
5、三维对象插入：利用估计出的光照信息，三维模型可以被添加进照片中，并且以一种看起来自然和真实的方式反应光照效果。
这项技术的一个关键创新是它不需要昂贵或复杂的设备来捕获光照条件。它只需要一张图片和强大的算法。这意味着它可以用于从专业电影制作到手机摄影的各种应用，为艺术家和开发者创造新的可能性。该技术可以用于多种输入图像，如室内外场景、特写镜头、绘画和人脸照片。
正文完
关注公众号获取最新教程
