SynCD – Meta和卡内基梅隆大学开源的文生图合成训练数据集 | AI工具集

SynCD是什么

SynCD（Synthetic Customization Dataset）是卡内基梅隆大学和Meta推出的高质量合成训练数据集，用在提升文本到图像模型的定制化能力。SynCD包含多个相同对象在不同光照、背景和姿态下的图像，基于共享注意力机制（Masked Shared Attention）和3D资产引导（如Objaverse）确保对象在不同图像中的一致性。SynCD用语言模型（LLM）生成详细的对象描述和背景场景，结合深度引导的文本到图像模型生成耦合图像。SynCD解决了现实世界中多视角、多背景对象图像难以大规模收集的问题，为无调优（tuning-free）的模型定制化提供丰富的训练资源，显著提升了模型在生成新场景中特定对象时的图像质量和身份保持能力。

SynCD的主要功能

• 提供多样化训练样本：基于生成多个视角和背景下的图像，增加模型对对象的视觉理解能力。
• 增强对象一致性：基于共享注意力机制和3D资产引导，确保对象在不同图像中保持一致，避免生成的图像中对象特征的漂移。
• 提升生成质量：用高质量的合成数据，改善模型在定制化任务中的图像质量和身份保持能力。
• 支持无调优定制化：为无调优（tuning-free）方法提供数据支持，避免对每个新对象进行昂贵的优化步骤。

SynCD的技术原理

• 语言模型辅助提示生成（LLM-assisted Prompt Generation）：
  • 用语言模型（如LLama3）生成详细的对象描述和背景场景描述。对于刚体对象，用Cap3D提供的对象描述；对于可变形对象，直接从类别名称生成详细描述。
  • 基于LLM生成多个背景描述，将对象描述与背景描述结合，生成多图像的提示。
• 共享注意力机制（Masked Shared Attention, MSA）：
  • 在生成多图像时，基于Masked Shared Attention机制共享前景对象区域的特征，确保不同图像中对象的一致性。
  • 在扩散模型的注意力模块中，每个图像的特征不仅关注自身，且关注其他图像中的对象特征，基于掩码（mask）忽略背景区域。
• 3D资产引导（3D Asset Guidance）：
  • 对于刚体对象，用Objaverse中的3D资产进行多视角渲染，生成深度图和对应的图像。
  • 基于深度引导和多视角对应关系，进一步增强对象的3D一致性。支持像素级的跨视角对应关系，将一个图像中的特征“扭曲”到其他图像中，确保对象在不同视角下的形状和颜色一致。
• 数据过滤与质量控制：
  • 用美学评分（aesthetic score）和对象相似性（通过DINOv2特征空间计算）过滤低质量或不一致的图像，确保最终数据集的质量。
  • 基于自动化的过滤步骤，剔除不符合要求的图像，最终生成高质量的合成数据集。

SynCD的项目地址

SynCD的应用场景

• 个性化内容生成：用户上传个人物品或宠物照片，结合文本提示生成其在不同场景或风格下的新图像，满足个性化需求。
• 创意设计与艺术创作：设计师和艺术家快速生成概念图像，验证设计想法或创作具有特定风格的艺术作品，提升创意表达效率。
• 虚拟场景构建：在虚拟现实（VR）和增强现实（AR）中，生成虚拟场景中的特定对象，如将虚拟角色放置在不同环境中，增强沉浸感。
• 广告与营销：品牌生成产品在不同使用场景或目标受众环境中的图像，用在广告宣传，提高吸引力和说服力。
• 教育与培训：教育领域生成教学材料，如将历史文物置于古代场景中，帮助学生更好地理解知识，提升学习效果。