在人工智能的浩瀚疆域中，上海AI Lab近日推出了一项革命性的创新成果——Aether，一个旨在构建和探索复杂虚拟世界的开源平台。Aether不仅是一个技术里程碑，更是开放科学精神的体现，它打开了通向高度仿真、自动生成的世界之门。这个模型通过融合深度学习与先进算法，能够自动生成多样化、高度逼真的环境，从自然景观到城市景观，乃至复杂的社交互动场景，无不展现了其惊人的创造能力。Aether的开源，预示着全球科研人员和开发者将携手进入一个全新的共创时代，共同推进人工智能在模拟现实、内容生成及理解复杂系统方面的界限。这不仅是技术的飞跃，也是集体智慧探索未知边界的开始，为教育、娱乐、城市规划等多个领域带来前所未有的可能性。
Aether是什么aether是由上海ailab开发的开源生成式世界模型，全部基于合成数据进行训练。aether首次将三维时空建模与生成式建模深度结合，具备4d动态重建、动作条件视频预测和目标导向视觉规划三大核心功能。aether能够感知环境、理解物体位置和运动关系，从而做出智能决策。aether在现实世界中展示了强大的零样本泛化能力，通过虚拟数据训练高效完成复杂任务，为具身智能系统提供强大的空间推理和决策支持。
Aether的主要功能
4D动态重建：从视频中重建包含时间和空间的三维场景模型，捕捉动态变化。
动作条件视频预测：根据初始观察和动作轨迹预测未来场景的变化。
目标导向视觉规划：根据起始和目标场景生成合理路径，辅助智能系统规划行动路线。
Aether的技术原理
统一多任务框架：将动态重建、视频预测和动作规划三项任务整合在一个统一的框架中进行优化。通过任务交错的特征学习，实现不同任务之间的协同优化，提升模型的稳定性和鲁棒性。
几何感知建模：引入三维时空建模，构建几何空间提升模型的空间推理能力。使用大量仿真RGBD数据（彩色图像和深度图），开发一套完整的数据清洗与动态重建流程，并标注丰富的动作序列。
相机轨迹作为动作表征：选择相机轨迹作为全局动作的表示方式。在导航任务中，相机轨迹直接对应导航路径；在机器人操作中，手柄相机的运动可以捕捉末端执行器的6D运动。
扩散模型与多模态融合：基于预训练的视频扩散模型，用合成4D数据进行后训练。将深度视频转换为尺度不变的归一化视差表示，将相机轨迹编码为与扩散变换器（DiTs）时空框架对齐的尺度不变射线图序列表示。通过动态整合跨任务和跨模态的条件信号，Aether实现多模态信息的融合和协同优化。
零样本泛化能力：完全在虚拟数据上训练，实现对真实世界的零样本泛化。通过组合不同的条件输入（如观察帧、目标帧和动作轨迹），结合扩散过程，实现对多种任务的统一建模与生成。让模型在没有真实世界数据的情况下，迁移到真实场景中表现出色。
Aether的项目地址
项目官网：
GitHub仓库：
HuggingFace模型库：
arXiv技术论文：
在线体验Demo：
Aether的应用场景
机器人导航：帮助机器人规划路径，避开动态障碍。
自动驾驶：实时重建道路场景，预测交通动态。
虚拟现实：生成沉浸式虚拟场景，增强用户体验。
工业机器人：优化机器人操作路径，提高生产效率。
智能监控：分析监控视频，预测异常行为。
以上就是Aether—上海AILab开源的生成式世界模型的详细内容，更多请关注其它相关文章！
相关攻略
近期热点
