一种新的基于图像的纹理合成方法TextureDreamer

共计 712 个字符，预计需要花费 2 分钟才能阅读完成。

加州大学圣地亚哥分校与马里兰大学帕克分校的团队提出了一种新的基于图像的纹理合成方法 TextureDreamer，可以从少量的输入图像 (3 到 5 张) 中提取纹理信息，并将其转移到目标 3D 网格上。TextureDreamer 可以跨任意类别合成具有高度逼真度和细节的纹理。本文的主要贡献是提出了个性化几何感知分数蒸馏法（PGSD），它从最近扩散模型的进展中获得灵感，包括个性化建模以提取纹理信息，通过变分分数蒸馏法生成详细外观，以及通过 ControlNet 显式引入几何引导。实验结果表明，TextureDreamer 在合成高质量纹理方面明显优于以前的方法。

项目主页：https://texturedreamer.github.io

TextureDreamer 方法主要包括以下几个步骤：

• Dreambooth 调整：利用 Dreambooth 方法，通过在少量输入图像上进行预训练扩散模型的微调，提取纹理信息。
• BRDF 表示：将纹理表示为标准微面双向反射分布 (BRDF) 模型，包含漫反射、金属度和粗糙度三个参数。
• 几何感知扩散：采用控制网络 (ControlNet) 架构，将几何信息注入扩散模型中，实现几何感知的分数蒸馏采样。
• 优化过程：通过分数蒸馏采样，最小化 BRDF 分布与预训练扩散模型分布之间的 KL 散度，从而优化 BRDF 参数。
• 提取纹理：优化完成后，从优化的 BRDF 字段中提取高分辨率的漫反射、金属度和粗糙度纹理贴图。
• 3D 对象应用：将生成的纹理贴图应用到目标 3D 网格上，实现图像到任意几何形状的纹理迁移。

总体来说，TextureDreamer 方法通过预训练扩散模型的微调提取图像纹理信息，并结合几何感知的分数蒸馏采样实现高质量的图像到 3D 纹理迁移。