LaDeCo – 西安交大联合微软推出的自动图形设计构图方法 | AI工具集

LaDeCo是什么

LaDeCo是西安交通大学和微软研究院联合推出的自动图形设计构图方法，基于将设计任务分解为层次化的步骤来实现。LaDeCo对输入的设计元素进行层规划，将它们分配到不同的语义层，比如背景、底层、图像/标志、文本和装饰。然后，LaDeCo逐层预测，生成每个设计层的元素属性，将之前生成层的渲染图像作为上下文信息，指导后续层的生成。LaDeCo基于大型多模态模型（LMMs）处理多模态输入，支持无需特定任务训练的设计子任务，如分辨率调整、元素填充和设计变化。

LaDeCo的主要功能

• 层规划：自动将输入的多模态设计元素（如图像、文本）分配到不同的语义层，例如背景、底层、图像/标志、文本和装饰层。
• 层级设计生成：基于层规划的结果，逐步预测和生成每个层的元素属性，创建完整的设计构图。
• 分辨率调整：根据不同的画布尺寸调整设计，让设计在不同大小的画布上都具有吸引力。
• 元素填充：在现有设计中添加新的元素，增强设计的吸引力。
• 设计变化：给定相同的输入元素，创造出多种不同的设计，为用户提供多种选择。

LaDeCo的技术原理

• 大型多模态模型（LMMs）：基于大型多模态模型，理解多模态上下文，生成跨领域响应。
• 层规划模块：基于预训练的LMMs（例如GPT-4o）预测输入元素的语义标签，实现元素到设计层的自动分类。
• 层级生成过程：根据层规划的结果，逐层生成设计元素的属性，将已生成层的渲染图像作为上下文信息反馈给模型，指导后续层的生成。
• 视觉编码器和投影器：用在编码元素图像和中间设计，生成图像嵌入，并将投影以匹配LMMs主干所需的隐藏状态维度。
• 链式思考（Chain-of-Thought）推理：LaDeCo的层级生成方法体现了链式思考推理的理念，基于逐步生成和调整设计层提高推理性能。

LaDeCo的项目地址

LaDeCo的应用场景

• 设计师：帮助设计师自动完成图形设计构图任务，提升设计效率和质量。
• 研究人员和规划人员：在景观变化研究、美学评估和视觉影响评估中，让研究人员和规划人员快速、客观地计算图像中视觉元素的比例，简化评估过程。
• 评估人员：评估视觉景观元素具有重要作用，帮助评估人员进行更高效的视觉元素分析。
• 开发者：对于开发者来说，基于LaDeCo开发不同的应用。
• 泛年轻人群：LaDeCo在自动图形设计领域的应用吸能19-35岁的人群对创意内容、分享、音乐、短视频、游戏、时尚等有较高偏好的人群。