WorldDreamer – 视频生成通用世界模型，可以生成超过1分钟的视频 | AI工具集

WorldDreamer是什么

WorldDreamer是基于Transformer的通用世界模型，致力于理解和预测物理世界的变化和运动规律，增强视频生成的能力。能完成自然场景和自动驾驶场景中的多种视频生成任务，如文本生成视频、图像生成视频、视频编辑和动作序列生成视频等。WorldDreamer通过将视觉输入映射到离散的标记并预测被遮蔽的标记来实现这一目标，结合了多模态提示以促进世界模型内的交互。实验表明，WorldDreamer在不同场景下生成视频方面表现出色，包括自然场景和驾驶环境，展现了其在执行文本到视频转换、图像到视频合成和视频编辑等任务方面的多功能性。

WorldDreamer的主要功能

• 图像到视频（Image to Video）：基于单一图像预测未来的视频帧，将剩余的视频帧视为被掩码的视觉Token，对这部分Token进行预测，生成高质量、连贯的视频内容。
• 文本到视频（Text to Video）：仅给定语言文本输入，WorldDreamer预测相应的视频，假设所有视觉标记都被屏蔽，生成与输入语言描述相匹配的视频。
• 视频修改（Video Inpainting）：在给定的视频上指定mask区域，根据语言输入更改被mask区域的视频内容，实现视频的局部修改和内容替换。
• 视频风格化（Video Stylization）：输入视频段，随机屏蔽某些像素，WorldDreamer可以根据输入语言改变视频风格，如创建特定主题效果。
• 基于动作合成视频（Action to Video）：在自动驾驶场景下，输入初始帧和未来的驾驶命令，WorldDreamer预测未来的视频帧，生成符合驾驶动作的视频。

WorldDreamer的技术原理

• 视觉Token化：WorldDreamer首先使用VQGAN将图像和视频编码为离散的视觉Token。这一步骤将连续的视觉信号转换为可以被模型处理的离散形式。
• Transformer架构：基于Transformer架构，WorldDreamer构建了一个通用的世界模型，用于理解和预测视觉信号中的动态和物理规律。
• Spatial Temporal Patchwise Transformer (STPT)：针对视频信号中固有的时空特性，WorldDreamer提出了STPT，能使注意力集中在时空窗口内的局部patch上，促进对视觉信号动态的学习并加速训练过程的收敛。
• 多模态提示：WorldDreamer通过交叉注意力机制整合语言和动作信号，构建多模态提示，促进在世界模型内的交互。
• 预测被掩码的视觉Token：WorldDreamer将世界建模框架转换为一个无监督的视觉Token预测问题，通过预测被掩码的视觉Token来捕捉视觉数据中潜在的运动和物理规律。
• 并行解码视频：与基于扩散的方法相比，WorldDreamer表现出卓越的速度优势，仅需几次迭代即可并行解码视频，速度约为基于扩散的方法的3倍。
• 无监督学习：WorldDreamer支持无监督学习，通过预测被掩码的视觉Token来进行训练，无需额外的监督信号。

WorldDreamer的项目地址

WorldDreamer的应用场景

• 自然场景视频生成：WorldDreamer能根据自然场景的图像或文本描述生成相应的视频内容，适用于自然风光、动物行为等多种自然场景的模拟和展示。
• 驾驶环境视频生成：在自动驾驶领域，WorldDreamer可以根据驾驶动作或初始帧生成后续的视频，模拟不同驾驶策略下的车辆运动，为自动驾驶技术提供模拟训练数据。
• 视频编辑：WorldDreamer支持视频的修复与修改，用户可以根据语言输入指定区域进行内容更改，保证视频与用户描述一致，实现视频的精细化编辑。
• 图像到视频合成：WorldDreamer能从单一图像预测未来的帧，实现高质量视频的生成，呈现出电影级别的流畅运动，保持原始图像的一致性。
• 文本到视频生成：基于文本内容生成视频，实现语言与视频内容的完美契合，用户可以通过语言输入定制视频内容、风格和相机运动。