ConsistentDreamer – 华为推出的单张图像生成 3D 资产技术

ConsistentDreamer是什么

ConsistentDreamer 是华为慕尼黑研究中心提出的新型图像到 3D 资产生成技术，通过单张图像生成视图一致的 3D 网格。方法通过多视图先验图像引导的高斯优化，解决了传统方法在多视图一致性上的不足。ConsistentDreamer 首先生成一组固定视角的多视图图像，然后基于分数蒸馏采样（SDS）损失和扩散模型优化 3D 模型的粗略形状。通过动态任务权重平衡粗略形状和精细细节的优化，引入不透明度、深度失真和法线对齐损失来细化表面。

ConsistentDreamer的主要功能

• 3D 一致性增强：通过引入 3D 一致的结构化噪声和自监督一致性训练，ConsistentDreamer 能在不同视图之间保持高度一致的编辑结果，解决了传统 2D 扩散模型在多视图生成中的不一致性问题。
• 高分辨率纹理生成：框架能生成具有精细纹理和高清晰度的编辑结果，在复杂场景（如 ScanNet++ 的大规模室内场景）中表现出色。
• 复杂图案编辑能力：ConsistentDreamer 是首个能成功编辑复杂图案（如格子或方格图案）的方法。
• 多视图上下文输入：通过将周围视图作为输入，ConsistentDreamer 为 2D 扩散模型提供了丰富的上下文信息，增强了模型的 3D 感知能力。
• 并行化编辑流程：ConsistentDreamer 采用多 GPU 并行处理，通过分离 NeRF 拟合和扩散模型生成，实现了高效的场景编辑。
• 指令引导的场景编辑：框架支持根据自然语言指令对 3D 场景进行编辑，生成与指令高度一致的高质量结果。

ConsistentDreamer的技术原理

• 多视图先验图像引导：ConsistentDreamer 首先基于多视图生成模型从单张输入图像生成一组固定视角的多视图先验图像。图像作为优化过程中的参考，为 3D 模型的生成提供了丰富的上下文信息。
• 分数蒸馏采样（SDS）：通过分数蒸馏采样（SDS）损失优化 3D 模型的粗略形状。具体来说，基于预训练的扩散模型（如 Zero-1-to-3）生成随机视图，通过选择与目标视图最接近的先验图像作为条件，确保视图之间的一致性。
• 动态任务权重平衡：为了平衡粗略形状优化和精细细节优化，ConsistentDreamer 引入了基于同方差不确定性的动态任务权重。在每次迭代中自动更新，确保优化过程的稳定性和效率。
• 不透明度、深度失真和法线对齐损失：为了提高网格提取的质量，ConsistentDreamer 引入了不透明度损失、深度失真损失和法线对齐损失。帮助细化表面，确保生成的 3D 网格具有清晰的表面和高质量的纹理。
• 多视图上下文输入与一致性训练：ConsistentDreamer 将周围视图作为输入，为扩散模型提供丰富的 3D 上下文信息，通过自监督一致性训练进一步强化 3D 感知能力。

ConsistentDreamer的项目地址

ConsistentDreamer的应用场景

• 复杂场景的高保真编辑：ConsistentDreamer 适用于复杂的大规模室内场景（如 ScanNet++ 数据集中的场景），能生成具有精细纹理和高清晰度的编辑结果。
• 多样化风格转换：支持多种风格转换任务，例如将场景转换为特定的艺术风格（如梵高或蒙克风格），能保留原始场景的细节和纹理。
• 物体特定编辑：ConsistentDreamer 可以对场景中的特定物体进行编辑，例如改变人物的表情或物体的颜色。
• 跨视图和跨批次一致性：通过引入结构化噪声和自监督一致性训练，ConsistentDreamer 能在不同视图和不同批次的生成过程中保持一致性。