VITRON – Skywork AI 联合新加坡国立、南洋理工推出的像素级视觉大型语言模型

VITRON是什么

VITRON是Skywork AI、新加坡国立大学和南洋理工大学联合推出的像素级视觉大型语言模型（LLM），能全面理解和处理静态图像与动态视频，对图像和视频进行理解、生成、分割和编辑。VITRON结合前端的视觉编码器和后端的视觉专家系统，支持从视觉理解到视觉生成的多种任务。VITRON基于混合方法传递信息，结合离散文本指令和连续信号嵌入，实现精确的功能调用，并设计跨任务协同模块，增强不同视觉任务间的协同效应。

VITRON的主要功能

• 视觉理解：包括图像和视频的问答（QA）、指代表达（Referring Expression）和视觉推理。
• 视觉生成：从文本生成图像（Text-to-Image）和从文本生成视频（Text-to-Video）。
• 视觉分割：包括图像和视频的分割任务，如实例分割、全景分割等。
• 视觉编辑：对图像和视频进行编辑，如添加、替换、移除和颜色改变等操作。
• 交互式用户输入：处理用户的点击、绘制框或多边形、涂鸦等交互式输入。

VITRON的技术原理

• 编码器-LLM-解码器架构：基于常见的编码器-大型语言模型（LLM）-解码器架构，其中编码器负责处理图像和视频输入，LLM负责语义理解和决策，解码器负责执行具体的视觉任务。
• 前端视觉-语言编码：用CLIP ViT-L/14@336px作为图像和视频的编码器，处理每一帧视频进行平均池化获得整体的时间表示特征。使用区域像素感知视觉提取器作为草图编码器，处理用户的交互式输入。
• 核心LLM：用Vicuna（7B, 版本1.5）作为LLM，处理来自语言和视觉模态的输入，执行语义理解和推理，生成决策。
• 后端视觉专家：集成一系列单一视觉专家，如GLIGEN用于图像生成和编辑，SEEM用在图像和视频分割，ZeroScope和I2VGen-XL用在文本到视频和图像到视频的任务，StableVideo用于视频编辑。
• 混合方法指令传递：推出一种新颖的混合方法，基于离散文本指令和连续信号特征嵌入确保LLM的决策能精确地传递给后端模块。

VITRON的项目地址

VITRON的应用场景

• 图像编辑辅助：对照片进行修复和美化，例如去除不必要的物体或增强图像色彩。
• 视频内容创作：从剧本文本生成视频内容，包括场景构建和角色动画。
• 在线教育平台：在教育平台上根据教学大纲自动生成教学视频和图像，辅助教学。
• 电子商务视觉营销：为电商平台自动生成商品展示视频，提升商品吸引力。
• 新闻媒体内容制作：帮助新闻机构快速生成新闻事件的视觉报道，包括图像和视频。