清华与重庆大学携手共创：将视频模型无缝转化为现实世界的桥梁——‘Vid2World’框架发布

在人工智能与计算机视觉领域取得的又一重大突破，清华大学与重庆大学强强联合，共同推出了一个创新框架——“Vid2World”。这一技术革新旨在解决视频数据向可交互世界模型转换的难题，开启了从二维影像到三维现实模拟的全新篇章。通过高度先进的算法，Vid2World能够精确解析视频中的信息，将其转换成详细且动态的世界模型，不仅为虚拟现实、增强现实应用提供了坚实的底层技术支持，也为城市规划、远程教育、灾害模拟等多个领域带来了前所未有的可能性。这项合作成果标志着我国在将数字影像转化为实用模型技术上的重要进步，预示着一个更加智能化、可视化未来时代的到来。

　　

vid2world是由清华大学携手重庆大学共同研发的一项创新框架，其核心在于能够将全序列、非因果的被动视频扩散模型（vdm）转化为自回归、交互式且动作条件化的世界模型。该模型依托视频扩散因果化以及因果动作引导两大关键技术，有效弥补了传统vdm在因果生成及动作条件化上的缺陷。在机器人操控和游戏仿真等复杂场景下，vid2world展现出了卓越的能力，不仅能够产出高保真的动态一致视频序列，还支持基于动作的交互式预测。这项技术为提高世界模型的实际应用价值及其预测准确性提供了全新的思路，并展现出广阔的应用潜力。

　　 　　Vid2World的主要特性 　　高精度视频生成：生成的视频在视觉保真度与动态连贯性方面接近真实的视频。 　　动作导向能力：依据输入的动作序列生成对应的视频画面，支持精细化的动作调控。 　　自回归生成模式：采用自回归的方式逐帧生成视频，每一步生成仅依赖于之前的所有帧和动作。 　　因果推断功能：具备因果推理能力，确保预测过程只依赖于过往的信息，避免未来信息的干扰。 　　多样化应用场景：适用于协助机器人任务规划、游戏引擎开发、策略优化以及视频修复等多种领域。 　　Vid2World的技术细节 　　视频扩散因果化：传统的视频扩散模型（VDM）通常会对整段视频进行同步去噪处理，这种方式并不适合用于因果推导，因为未来的帧可能会影响过去的帧。为了达成因果生成的目标，Vid2World对现有的VDM进行了改造，通过引入因果掩码来约束时间注意力层，使其只能关注过去的帧；同时，时间卷积层采用了混合权重迁移方案，既保持了原有的预训练权重，又适配了因果卷积层的需求。此外，借助DiffusionForcing技术，在训练阶段为每一帧单独抽取噪声级别，帮助模型掌握不同帧间噪声级别的组合规律，从而实现自回归生成。 　　因果动作引导：为了让模型更敏锐地响应细微的动作变化，Vid2World引入了因果动作引导机制。每个动作都经由一个轻量级的多层感知机（MLP）进行编码，并将其嵌入至相应帧之中。在训练期间，以固定概率随机剔除每个动作，促使模型同时习得条件和无条件得分函数。而在实际运行时，则利用线性组合条件得分函数和无条件得分函数的方法，调节对动作变动的敏感程度。基于独立剔除动作的操作，模型得以理解动作对最终效果的影响，进而在线性生成过程中更精准地响应动作指令。 　　Vid2World的资源链接 　　官方网站： 　　HuggingFace模型库： 　　arXiv技术文档： 　　Vid2World的典型用途 　　机器人操控：提供高质量的预测数据，辅助机器人完成任务规划。 　　游戏模拟：构建与实际游戏极为相似的视频素材，推动神经游戏引擎的进步。 　　策略分析：模拟各种策略执行后的结果，促进策略改进。 　　视频预测：利用现有帧和动作序列预测接下来的画面，应用于视频填补等领域。 　　虚拟环境创建：生成响应用户动作的虚拟场景，增强虚拟现实中的互动体验。 　　

以上就是Vid2World—清华联合重庆大学推出视频模型转为世界模型的框架的详细内容，更多请关注其它相关文章！