Edicho – 蚂蚁集团联合港科大等高校推出的多图像一致性编辑方法 | AI工具集

Edicho是什么

Edicho 是香港科技大学、蚂蚁集团、斯坦福大学和香港中文大学推出的，基于扩散模型的图像编辑方法，能在多图像间实现一致性编辑。Edicho用免训练的方法，无需额外训练即可应用。Edicho核心在于用显式图像对应关系指导编辑过程，基于注意力操作模块（Corr-Attention）和分类器自由引导（CFG）去噪策略，确保编辑在不同图像中保持一致性。Corr-Attention 借助显式对应关系增强自注意力机制，将源图像的特征有效转移到目标图像， Corr-CFG 基于修改 CFG 计算，结合预计算的对应关系，引导生成过程更接近期望的编辑，同时保持高图像质量。

Edicho的主要功能

• 一致性图像编辑：在多图像间实现一致性编辑，包括局部编辑（如图像修复）和全局编辑（如图像风格转换），确保编辑结果在各种场景下保持高度协调。
• 即插即用兼容性：作为推理时的算法，可与大多数基于扩散的编辑方法（如 ControlNet 和 BrushNet）无缝兼容，无需额外训练数据，直接应用于实际任务。
• 广泛任务适用性：适用于图像编辑，还能扩展应用于个性化内容创作、3D重建及一致性纹理应用等更多领域，扩展了编辑工具的适用范围。

Edicho的技术原理

• 显式图像对应性引导：基于显式图像对应性引导编辑过程，避免传统隐式对应性方法的局限性。用预训练的对应性提取器（如 DIFT 和 Dust3R）从输入图像中提取稳健的对应性，然后将预计算的显式对应性注入到扩散模型的去噪过程中，确保编辑的一致性。
• 注意力操作模块（Corr-Attention）：增强注意力机制，基于图像之间的对应性引导特征传递。在自注意力模块中，根据显式对应性对查询特征进行变换，从源图像借用相关特征，形成新的查询矩阵，在去噪过程中实现编辑一致性。
• 优化的分类器自由引导（CFG）去噪策略（Corr-CFG）：结合预计算的对应性，在编辑过程中保持高质量和一致性。修改 CFG 的计算方式，在对应关系的引导下操控 CFG 框架中的无条件分支，融合无条件嵌入特征，进一步增强一致性效果，同时保留预训练模型强大的生成先验的完整性。

Edicho的项目地址

Edicho的应用场景

• 产品营销：电商平台上的卖家对不同角度拍摄的产品图片进行一致性编辑，提升点击率和转化率。
• 主题活动：在圣诞节期间，用户将多张家庭照片编辑成具有圣诞风格的图片，分享到社交媒体上与亲朋好友共赏。
• 个性化内容生成：用户根据自己的喜好，将多张个人照片编辑成具有统一风格的头像，用在不同社交媒体平台。
• 虚拟现实：在游戏开发中，设计师对虚拟角色的多张设计草图进行一致性编辑，提升角色形象的完整性和辨识度。
• 医学影像数据集增强：在医学影像分析领域，对医学影像数据集中的图像进行一致性编辑，提高医学影像识别模型的训练效果。