在人工智能领域的探索前沿，一场由清华大学、商汤科技、北京大学以及上海人工智能实验室携手启动的创新合作正在引发关注。他们共同孕育的结晶——“UniAct”，标志着具身智能研究步入一个全新纪元。这一开创性的基础模型框架，旨在整合多学科智慧，推动AI技术从理论迈向更加拟人化、环境适应性极强的应用阶段。UniAct不仅汇聚了顶尖学术机构的深厚理论功底，还融合了业界领先企业的实战经验，旨在构建一个更加智能、灵活、能够理解并交互于复杂世界的人工智能基础平台。这不仅是科技进步的一小步，更是跨学科合作推动人工智能向更高境界跃进的一大步。随着UniAct的推出，我们正逐步揭开智能时代更深层次的面纱，为教育、医疗、制造等行业带来革命性的变化，预示着一个更加智能化的未来社会正徐徐展开。
uniact：一种新型具身基础模型框架
UniAct是一种创新的具身基础模型框架，旨在解决机器人行为的异构性问题。它通过学习通用行为，提取不同机器人共享的原子行为特征，从而克服由物理形态和控制接口差异造成的行为不一致性。UniAct的架构主要由通用行为提取器、通用行为空间和异构解码器三部分构成。通用行为提取器基于视觉语言模型，通过观察和任务目标来提取通用行为；通用行为空间采用向量量化码本的形式，每个向量代表一种原子行为；异构解码器则负责将通用行为转化为特定机器人的控制信号。
核心功能：
通用动作编码:UniAct将不同机器人的原子行为（例如“移动到目标位置”或“避开障碍物”）转化为通用的向量化码本，每个代码代表一种可跨平台共享的通用技能。 轻量高效:UniAct-0.5B模型仅需0.5亿参数，其真实和模拟环境下的任务表现已超越参数规模达14亿的OpenVLA模型。 快速适应性:UniAct仅需50条专用示教数据即可在新环境中微调，并能快速适应新的机器人和控制接口。只需添加轻量级解码器，即可轻松扩展到新的机器人平台。 跨领域数据利用:UniAct通过通用行为空间，更有效地利用跨领域数据进行训练，从而在不同机器人和环境中实现更强大的泛化能力。 行为一致性:在不同的部署场景和机器人类型上，相同的通用动作能展现出一致的行为模式，为具身智能体的控制提供了更便捷的方式。用户只需从码本中选择相应的通用动作，即可指挥不同类型的机器人完成任务。技术原理详解：
通用动作空间:UniAct利用向量量化构建了一个离散的通用动作空间，该空间是一个向量化码本，每个向量嵌入代表一种通用的原子行为。这些原子行为是不同机器人在不同环境下共享的基本行为模式。 通用动作提取器:基于视觉语言模型(VLM)，UniAct的通用动作提取器能够识别和提取通用动作。它根据观察结果和任务目标，输出选择通用动作的概率。 异构解码器:UniAct使用异构解码器将通用动作转换为特定机器人的可执行命令。这些解码器针对不同的机器人平台进行设计，能根据机器人的具体特征将通用动作转换为具体的控制信号。 轻量化架构与高效训练:UniAct采用轻量化模型架构，即使参数较少也能保持优异的性能。它通过行为克隆损失进行训练，并根据动作标签的性质选择合适的损失函数。项目信息：
项目官网: GitHub仓库: arXiv技术论文:应用场景：
UniAct的应用前景广泛，包括自动驾驶、医疗机器人、工业自动化和智能家居等领域。其通用性使其能够高效地控制各种类型的机器人，并适应不同的环境和任务需求。
以上就是UniAct—清华、商汤、北大、上海AILab共同推出的具身基础模型框架的详细内容，更多请关注其它相关文章！
相关攻略
近期热点
