机器人感知大升级！轻量化注入几何先验，成功率提升31%
机器人感知大升级！轻量化注入几何先验，成功率提升31%VLA模型通常建立在预训练视觉语言模型（VLM）之上，仅基于2D图像-文本数据训练，缺乏真实世界操作所需的3D空间理解能力。
来自主题: AI技术研报
5696 点击 2025-09-29 14:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
VLA模型通常建立在预训练视觉语言模型（VLM）之上，仅基于2D图像-文本数据训练，缺乏真实世界操作所需的3D空间理解能力。
LightVLA 是一个旨在提升 VLA 推理效率且同时提升性能的视觉 token 剪枝框架。当前 VLA 模型在具身智能领域仍面临推理代价大而无法大规模部署的问题，然而大多数免训练剪枝框架依赖于中间注意力输出，并且会面临性能与效率的权衡问题。
硅星人独家了解到，星海图即将开源全球首个开放场景高质量真机数据集Galaxea Open-World Dataset，及其G0-快慢双系统全身智能VLA模型。这一举动无疑在相对各自为战的机器人行业打开了一条新的路径。
如何让机器人从看懂世界，到理解意图，再到做出动作，是具身智能领域当下最受关注的技术重点。 但真机数据的匮乏，正在使对应的视觉-语言-动作（VLA）模型面临发展瓶颈。
让机器人学会聪明且快速精准执行，一直是机器人操控领域的难题。为了解决这个问题，香港中文大学、北京大学、智平方和北京智源研究院联合创新性地提出了Fast-in-Slow（FiS-VLA），即一个统一的双系统VLA模型。
2025年，全球具身智能赛道爆火，VLA模型成为了绝对的C位。从美国RT-2的开创性突破，到中国最新FiS-VLA「快慢双系统」，VLA正以光速硬核进化。
中科院自动化所提出BridgeVLA模型，通过将3D输入投影为2D图像并利用2D热图进行动作预测，实现了高效且泛化的3D机器人操作学习。
具身智能最大的挑战在于泛化能力，即在陌生环境中正确完成任务。最近，Physical Intelligence推出全新的π0.5 VLA模型，通过异构任务协同训练实现了泛化，各种家务都能拿捏。
近年来，视觉-语言-动作模型（Vision-Language-Action, VLA）在诸多机器人任务上取得了显著的进展，但它们仍面临一些关键问题，例如由于仅依赖从成功的执行轨迹中进行行为克隆，导致对新任务的泛化能力较差。
SOLAMI是一个创新的VR端3D角色扮演AI系统，用户可以通过语音和肢体语言与虚拟角色进行沉浸式互动。该系统利用先进的社交视觉-语言-行为模型，结合合成的数据集，提供更自然的交流体验，超越了传统的文本和语音交互。